Autorisation de passage: décaler le grillage

Bonjour,
Je viens vers vous car j'ai un petit soucis...
Nous avons une maison avec un terrain clos et aménagé.
Notre constructeur et venu nous voir car il va démarrer une maison a côté de la notre, en limite de propriété. Nous avons signé une autorisation de passage en pensant qu'on autorisait simplement les ouvrier à accéder à notre maison. Notre future voisine est venue nous voir car les travaux de terrassement ne peuvent pas démarrer si nous ne décalons pas le grillage d'au moins 1m. Sachant qu'il est sellé à 60cm avec du béton.... Et d'après le conducteur de travaux, c'est à nous de le faire... (Conducteur que j'ai eu au téléphone pour une fuite d'eau et qui ne m'a jamais parlé de cela). Je sais que nous ne pouvons pas refuser (et nous ne voulons pas embêter nos voisins qui n'y sont pour rien), mais est ce vraiment à nous de déplacer le grillage, de refaire le terrain qui sera sacagé par le passage des machines et de remettre le grillage ensuite (ce qui demande du temps et de l'argent, que nous cons déjà dépensé pour le faire une 1ère fois..) merci pour vos réponses qui nous aideront beaucoup!