Mur de soutènement, travaux avec retard, remblai et futur litige ?

Bonjour,

Tout d'abords je m'excuse si je pose la question mauvais endroit. 
voila mon soucis.

Il y'a bientôt deux ans a débuté la construction de ma maison en lotissement. Nous sommes arrivées dans les derniers. Notre maison est construire en limite de propriété sur terrain naturel. Cependant mon voisin de gauche avait lui entre temps remis son terrain à niveau (en rabaissant son terrain). Ce qui a eu pour conséquence et dès la fin de la construction que notre jardin était plus haut de 50cm à 1m. On peut d'ailleurs voir cette différence avec le voisin qui se trouve, lui derrière et qui est aussi en terrain naturel. 

J'en viens au problème. Au cours de l'année 2021, de part son jardin plus bas, se dernier souhaite dans un premier temps faire un mur mitoyen sur la limite de propriété. Chose que nous refusons car ce n'est pas dans notre désire de faire des murs partout. Ils décident donc et comme la loi l'autorise de faire un mur mais en limite de priorité et non mitoyen (chez lui). Les travaux commence (et sans nous avertir courant fin juillet / début Aout). Je passe le fais qu'une partie de la semelle est déjà chez nous, car ce sera remblayer par dessus plus tard. 

De là, on nous dit que l'espace vide entre le mur et notre terrain naturel (sur presque 10 mètres) sera a reboucher à nos frais (première surprise mais s'ouate, j'ai de la terre encore de côté suite à des travaux, je m'en occuperais). Puis à partir de mi-Août, plus de travaux. Le mur est présent, non crépis, sans couvertine et avec le trou tout du long. On nous avait dit qu'il faudrait attendre avant que les travaux soit fini... Sans nous préciser les tenants et aboutissant (combien de temps, que reste t'il à faire...) 

On arrive à novembre 2021 et je dois continuer mes travaux extérieurs. Je commence a poser donc une haie de tuyas à 75cm de la limite de propriété et je commence aussi a rebouché le trou (durant 2 après-midi) pour avancer dans mes travaux. Aucune manifestation de mes voisins durant ces travaux, ni même la semaine suivante. 

Quelle fut ma surprise, quand le samedi matin suivant, les ouvriers sont revenus chez eux pour continuer et que mon voisin est venu me dire que j'ai rebouché trop vite et que j'aurais du laisser 2cm tout du long pour pouvoir laisser l'espace nécessaire pour posé un delta MS. Il me demande maintenant de faire en sorte qu'il puisse posé ce delta MS et que je dois me débrouillé pour retiré à nouveau la terre. 

Suis-je en droit de refuser, dois-je absolument faire machine arrière et retiré cette terre ? Quels sont les droits de chacun dans un cas comme celui-là ? 

Merci d'avance pour vos réponses et témoignage.