Non respect du cachier des charges par le constructeur, arrêt et démolition obligatoire ?

Bonjour
La construction de notre maison a débuté il y a quelques mois. Le cahier des charges stipulé que le niveau de la maison ne pouvait pas dépasser 60cm par rapport au niveau de la route.
Notre construction est réalisée sur sous-sol complet avec accès garage en sous-sol. Afin de nous permettre de rentrer nos voitures sans encombre, le constructeur a décidé de monter le niveau de la maison à 1,1m par rapport au niveau de la route (soit 0,5m de plus que ce qui est autorisé par le cahier des charges du lotissement) en nous disant que ce n'était pas un problème par rapport au cahier des charges car la hauteur du faîtage était encore légale. Nous pensions sincèrement que le constructeur était de bonne foi et nous avons juste pensé aux niveaux faîtages mais malheureusement pas à l'altimétrie... 

Pour faire cette modification, le constructeur a fait un permis de construire modificatif en modifiant l'espace par rapport au voisin sur le côté gauche et la bien stipulé dans le cadre "modification" du permis de construire. Il a modifié l'altimétrie sur les plans mais ne l'a pas stipulé dans le cadre "modification".
Nous sommes convoqué en mairie car ils nous disent que nous ne respectons pas le permis de construire qui a été accepté.
Est-ce que les valeurs d'altimétrie présentes sur les plans ne font pas foi ?
Maintenant on nous menace de démolir la maison donc le sous-sol et la dalle du rez de chaussé sont montés.
Le problème est que des voisins ont voulu faire monter l'altimétrie et cela leur a été refusé, de ce fait, ils menacent la mairie de faire un comité contre nous pour faire valoir leurs droits...
Que pouvons nous faire ??? Nous avons réunion cet après-midi et nous aimerions avoir des éléments de défense
Merci pour votre aide