Pourquoi avons nous signé !!! (Isere)

Bonjour à tous les lecteurs, tout d'abord merci de lire ce post.
Voici notre mésaventure.
- Janvier 2010 : nous décidons de faire construire
- Mars 2010 : nous donnons un chèque au constructeur à l'ordre du notaire pour réserver le notaire (chèque non encaissé)
- Mars 2010 : 3 jours après, nous signons un CCMI avec un constructeur pour une maison "clé en main" (chèque d'acompte encaissé) + (chèque pour DO non encaissé à ce jour)
- Juin 2010 : nous signons un compromis de vente avec le notaire pour un terrain appartenant à un propriétaire (terrain proposé par le constructeur mais n'étant pas à lui)
- Juillet 2010 : dépôt du permis de construire
- Septembre 2010 : acceptation du permis de construire avec condition "la construction doit etre surélevée de 0.50 mètre par rapport au terrain naturel avant construction car le projet est en zone de risques de ALEA FAIBLE RISQUE INONDATION"
- Novembre 2010 : nous achetons le terrain chez le notaire (nous lui avons demandé de nous rendre le chèque de réservation que nous avions donné au constructeur en Mars 2010 mais il n'était pas au courant de l'existence de celui-ci ?!)
- Décembre 2010 : nous recevons un avenant de la part du constructeur pour l'élévation du terrain (0.60 au lieu de 0.40 prévu initialement) => nous avons immédiatement répondu avec RAR en stipulant que nous ne payerons pas cet avenant car il est illégal puisque le prix du contrat signé est ferme et définitif.
- Aujourd'hui : pas de nouvelles du constructeur suite au RAR envoyé.

Cet avenant nous a mis la puce à l'oreille sur ce constructeur (un peu tard) et du coup, nous souhaitons carrément tout arrêter avec eux car nous pensons que les avenants vont tomber avec eux, nous ne leur faisons plus du tout confiance.
Mais nous craignons que les travaux commencent (prévus début janvier), quels recours avons nous pour stopper le commencement des travaux et pour rompre le contrat tout en récupérant les sommes versés ainsi que les chèque en attente (DO)?

Merci d'avance pour les réponses.

PS : ce forum est génial, c'est une mine d'infos sur la construction, merci aux créateurs.