Construction en limite abandonnée

Bonjour à tous,
Je m'excuse par avance du roman que je vais écrire mais c'est une triste réalité pour nous.
En 2008, nous devenons propriétaire d'un terrain adapté à la maison de nos rêves.
Nous commençons nos travaux dans les délais mais en février 2009, une surprise nous attends, le voisin (maçon de metier) est en train de creuser chez nous. Pas d'affichage de permis de construire sur le chantier. Nous lui demandons des renseignements techniques des explications sur la durée des travaux. Pas de réponse claire, il ne parle pas très bien le français. Nous sommes un peu déçus car nous voulions stocker la plâtrerie à l'emplacement du terrassement qui a quand même une profondeur de plus de 4 mètres par rapport à notre terrain naturel.
Nous le laissons avancer. Sauf que nous avons aménagé en Juin et pas beaucoup d'avancement! Nous lui demandons donc une date concrète en lui expliquant que nous sommes en danger et que nous perdons confiance en lui. Il dit que oui, il va le faire vite. Mais ça commence vraiment à nous énerver et on perd patience...
Nous répétons notre demande en fin d'année, le voisin devient agressif et à même tenté de s'approche de trop prêt un jour, nous avons donc décidé de faire appel à la Justice.
Après de longs mois d'attente et des centaines de papiers fournis à l'avocat en charge de notre dossier.
Bref pour la faire courte, nous avons évidemment gagné le procès mais rien d'extraordinaire, juste faire terminer les travaux chez nous donc attendre qu'il avance chez lui!
Sauf qu'il n'à jamais avancé donc retribunal 2ans après! Regain de causes mais cette fois il a légèrement pris peur, avancé un peu. Entre temps nous avons avancé sur certain travaux chez nous, alors que c'était à lui de le faire.
Puis nous avons eu un fils, nous lui avons demandé de mettre en sécurité en limite dès 2013. Il l'a fait après multiples relances de notre part avec menace de retourner au tribunal. Il a monté un bout de mur.
Aujourd'hui, rien de mieux!
J'ai donc des questions? Son permis est encore valide? La mairie peut-elle faire quelque chose? Car elle nous aide pas du tout.
Merci d'avance de votre aide.