Mur de cloture alignement sur le voisin

Bonjour, tous le monde

Nous habitons dans un lotissement bordé d'une petite départemental. Nous voulions faire un mur en limite de propriété côté Départemental. Nous avons commencé les travaux et Monsieur le Maire nous a tapé sur les doigts car nous avons oublié de faire la déclaration, c'est une erreur de notre part pas de souci.
Le problème se pose avec notre voisin car ce dernier dans son permis il a prévu le mur de clôture et l'a réalisé mais en retrait de 50 cm à l'intérieur de sa parcelle or sur son permis il l'a déclaré en limite.
Maintenant Monsieur le Maire nous demande de nous aligné sur son mur, chose qui techniquement nous ai difficile car les fondation sont déjà coulé et les trois premiers rangs sont fait et financièrement c'est impossible.

Pouvez vous me donner quelques conseils (technique, juridique) et texte de loi qui nous oblige à nous aligner car cela veut dire que les autres voisins vont devoir réaliser leur mur en retrait également de 50 cm.

De toute façon nous allons déjà commencé par une déclaration en l'état. En consultant le POS, il est précisé que les murs doivent être implanté en alignement (je suppose que c'est sur la limite de propriété).

En vous remerciant de vos aides.