Refus permis de construire, Rupture contrat construction

Voici le problème qui me travaille actuellement.

En mars 2005, mon épouse et moi même avons signé avec un constructeur UNCMI, un contrat de construction de maison individuelle avec fourniture de plan.

Lors du dépot du permis de construire, le constructeur nous à demandé un avenant pour passer la pente de toiture de 24° a 30°, soit un peu plus de 2000 €.
En effet, il nous avait vendu une toiture, non conforme avec le réglement du lotissement, qui impose une toiture de 30° minimun.
Nous avons essayé de negocier le montant de la plus value, en invocant une faute de sa part, il aurait du prendre connaissance du réglement avant de nous proposer un plan.
Il n'a rien voulu entendre, nous avons donc signé cet avenant.

Aujourd'hui nous venons de recevoir un refus de permis de construire, pour un problème d'alignement.
Nous avons implanté la construction en limite de propriété alors que dans le POS il est spécifié 5m minimun.
Là encore le constructeur n'a pas consulté le POS avant.
Ce dernier nous propose alors de modifier le projet, avec encore des plus values.

Là il dépasse les limites du raisonnable.
Nous envisageons donc de faire jouer la clause suspensive de non obtention du permis de construire pour nous desengager et demander la restitution des sommes déja versées (5% garantie par un organisme tier). Clause inscrite dans notre contrat de construction.

Avez-vous de l'expérience dans ce dommaine ?

Merci de votre aide.