Visite avant/après travaux et responsabilité constructeur

Bonjour, 

Nous pouvons enfin construire une maison correct sur notre terrain après des années de galères. Tout est réglé administrativement (CCMI) mais les travaux tardent à commencer.

Il y a une clôture qui nous sépare du voisin. Je ne sais même pas à qui appartient la clôture mais il s'agit d'un grillage tordu dans lequel sont mêlées des tas de plantes qui ont toujours débordées de notre côté. A plusieurs reprises nous avons proposé de le faire refaire plus proprement mais toujours reçu un refus agressif. 

Voici mon problème : Le conducteur de travaux est passé le voir pour faire une visite avant travaux et mon voisin réclame un constat d'huissier qu'il ne veut pas prendre en charge parce que se repose sur la clôture de son côté, une sorte de cabane complètement pourrie qu'il a peur de voir tomber. 

Ma question est : qui doit prendre en charge ces frais d'huissier ? dans la mesure où c'est à lui de faire la visite avant et après travaux, je suppose donc qu'il s'agit de sa responsabilité. Quelles sont les risques s'il n'y a pas de visite d'huissier ? 

Merci de m'avoir lu.