Clôture privative détruite par construction

Bonjour à tous,

Mon futur voisin fait construire sa maison juste à côté de la mienne, son constructeur nous a contacté pour avoir un droit d'échelle il y a un an pour pouvoir effectuer le ravalement du pignon de la future maison. Nous avions répondu qu'il nous fallait un document stipulant marge d'empiètement, remise en état etc et signatures de chacune des parties prenantes mais nous n'avons jamais rien reçu. En novembre, un terrassier est venu creuser sur 2,50 M de profondeur sous le niveau naturel du sol pour les fondations.  Ma clôture privative (à 10 cm de la limite du terrain) s'est complètement effondrée car rien n'a été mis en place pour retenir les terres ou la clôture. A l'heure actuelle, ma clôture est ''couchée'' sur les fondations de mon voisin, le constructeur ne m'a toujours pas fourni de document signé pour le droit d'échelle et fait la sourde oreille depuis la destruction de ma clôture.
Ma question est : ma clôture s'étant affaissée sur le terrain du voisin, est-ce que les ouvriers sont en droit de la retirer sans mon accord ?

Merci