Conflit avec voisin suite à construction

Bonjour,
J'aimerais votre avis.
En ce moment, je suis dans une grosse galère avec le voisin suite à la construction de mon pavillon toujours en cours. Je suis le maitre d'ouvrage.
Voilà, ma maison a un sous-sol semi-enterré (1m20 de profondeur et rez de chaussée à 1m du sol). Lors de la construction nous avons dû faire un trou de 9m x 11 m le tout sur 1m40 de profondeur (20 cm pour les fondations). C'était en Octobre dernier. Depuis la maison a bien poussée et est presque terminée il ne reste que le ravalement. Le voisin, dont la maison se situe à 1m80 de la mienne, soutient qu'une fissure sur sa maison est due à ma construction. Je tiens à dire que sa maison présentait déjà des fissures (parfois importantes) avant ma construction (prouvé par constat de l'huissier fait avant le début des travaux). C'est sûrement dû au sol argileux, toutes les maisons dans le coin fissurent un peu voire beaucoup et avec la sécheresse ça va être pire je pense. La construction de sa maison a été faite en grande partie par le voisin car il était lui même maçon. Je ne sais pas si cela compte pour remettre en cause le respect des règles de construction et une éventuelle réparation.
Entre sa propriété et la mienne il restait jusqu'à il y deux semaines un "petit" trou (2cm de large) non comblé par le maçon car il attendait l'accord du voisin pour le passage et finir l'isolation du sous-sol. Ils s'étaient mis d'accord au début du chantier (ils sont ou étaient amis maintenant). Mais en Janvier quand le maçon voulait finir, le voisin a refusé car il prétextait que ma maison était construite chez lui. Tant que ce n'était pas réglé il ne rentrerait pas chez lui. Ils ont passé leur temps à s'entretuer pendant 4 mois sans même me parler. Pourtant il y a le panneau d'affichage du permis de construire pour me joindre s'il le faut et je passais tous les jours quasiment sur le terrain. Il y a un mois seulement j'ai été averti de tout cela par le voisin. Dans un premier temps, j'ai fait venir un expert géomètre pour régler l'histoire d’empiètement. Il a rendu ses conclusions. Ma maison est bien chez moi. Après, le voisin a accepté que le trou soit comblé mais conteste le rapport de l'expert (mais je m'en fiche le géomètre expert a une assurance et seul un autre géomètre expert peut le déjuger je crois). Depuis il m'emmerde pour cette fissure. Le terrassier lui dit que c'est du foutage de gueule et qu'il veut de l'argent . Pour lui sa maison est trop loin pour que ces dégâts soient ma faute. Le maçon dit la même chose et s'il continue il fait jouer son assurance.
Même si sans l'obstruction du voisin j'avais laissé ce petit trou est-ce plausible ce qu'il dit.
En plus il menace d'aller foutre sa merde avec l'autre voisin en lui disant que j'empiète chez lui et que cela doit être pareil pour lui. S'il le fait, l'assurance du maçon m'a dit de porter plainte en diffamation, harcèlement et dénonciation calomnieuse car la rapport du géomètre expert dit le contraire.
Que pensez-vous de tout cela?
Merci.