Conflit de voisinage, mur de soutènement (Yvelines)

Bonjour, 

Je m’excuse par avance si la problématique que je vais aborder a déjà été traité, j’ai l’impression que ma situation est différente de celle que j’ai pu lire sur le forum.

J’aimerais avoir votre avis concernant cette situation : 
Je suis actuellement en train de construire une maison en limite de propriété. 
Ma maison n’est pas mitoyenne car mon voisin de droite a une allée de 1 mètres qui me sépare de sa maison et mon voisin de gauche (en construction aussi) a une allée de trois mètres, en pente, pour accéder a son terrain plus en hauteur. 
Pour construire notre maison, nous avons du empiéter de 50 cm sur chaque cote de notre maison, avec des autorisations au préalable de la part des deux voisins. L’autorisation stipulait que nous remettions le terrain des voisins dans leur état primitif. 

Aujourd’hui, la situation pose problème car notre voisin de gauche (celui qui a le projet de construire ) nous demande de ne pas remblayer et de faire un mur de soutènement sur son terrain pour retenir ses terres pour le passage des engins de construction (pour son chemin d’accès) Or, mon constructeur m’affirme que lorsque nous allong remblayer, le mur de notre maison permettra le passage de voiture sans problème mais pas d’engin de construction. De ce fait, le mur lui revient et reste a sa charge. 
De notre cote, nous avons proposé de participer a la création de ce mur mais notre voisin nous fait comprendre qu’il ne veut rien payer et voudrait que notre constructeur prenne la charge de ce mur. 
Comme notre constructeur refuse, c’est nous qu’il a mis en demeure en menancant de faire détruire le mur de notre maison et de lui payer ses pénalités de retard et de dommage/interet. 

S’agit-il d’une demande abusive de sa part ou sommes nous en tord de ne pas avoir fait de mur ? 
Sachant que sans sa construction, il n’aurait pas eu de nécessité a faire ce mur.

Merci par avance pour vos réponses