Construction non commencée et déjà des problèmes

Bonjour à toutes et à tous,

Je rencontre des problèmes avec mon constructeur (qui pourtant m'avait été conseillé !!!) et j'avoue que je ne sais plus quoi faire. Votre aide et vos conseils seraient les bienvenus.

J'ai signé un contrat CCMI pour une maison individuelle BBC le 15 mai 2012.
Le permis de construire a été déposé le 15/06/2012 et il est revenu le 13 juillet 2012.

1er problème rencontré avec mon constructeur, il a oublié de déposer mon permis de construire sur mon terrain. Ce qui c'est passé c'est qu'il a eu un deuil (perte de son papa) et a totalement oublié de déposer notre permis de construire. Il devait le déposer et lorsque je me suis rendu compte qu'il ne l'avait pas fait, nous étions en août pendant la période des congés de l'entreprise donc constructeur injoignable. J'ai donc fais une pancarte moi-même dans l'attente qu'il dépose le permis - ce qu'il a fait début septembre. Donc bref déjà premier couac pour le recours au tiers.
Il me dit donc que les travaux devraient intervenir entre le 01 et le 10 octobre 2012.

2ème problème : nous avons fait retirer des éléments et en avons ajouté d'autres sur notre contrat. Il me fait donc parvenir des avenants que je refuse de signer car totalement improbable et je souhaitais obtenir des renseignements complémentaires.
Nous avons négocié notre terrasse et la faience de la sdb en hors taxe. Donc il me fait parvenir un avenant CCMI de moins le montant de la terrasse et de la faience sdb (donc -7700 €) et un avenant hors CCMI du même montant (+7700 €) donc pour moi opération nulle, on me le retire d'un côté pour me le remettre de l'autre . Je refuse donc de le signer et je lui explique gentiment que je ne comprend pas pourquoi un avenant hors CCMI alors que j'ai signé un contrat CCMI.
Là dessus, il me dit qu'à cause de moi le chantier prend du retard car il ne peut demander l'attestation nominative pour l'ouverture du chantier. Là, je commence à perdre patience car les avenants ont été négociés en mai 2012 lors de la signature de notre contrat CCMI et que donc les avenants auraient dû nous être envoyé plus tôt donc le retard ne vient pas de moi mais de son organisation. Là dessus, il me dit qu'il n'y a pas le feu au lac, et qu'il ne faut pas que je m'inquiète ma maison sera construite !!!

3ème problème : le 09 octobre, je reçois un mail de mon constructeur qui m'indique que CGI BAT à sélectionner notre dossier afin de vérifier les possibilités financières de l'entreprise en cas de problèmes rencontrés. Il nous informe donc que le dossier sélectionné le 05/10/2012 prendra un retard de 15 jours (délai pour étudier le dossier). Suite à cela, nous demandons à rencontrer le responsable de l'entreprise car nous commençons à saturer et à nous poser des questions. Il nous reçoit et nous assure que les travaux débuterons pendant les vacances de la toussaint.
Hier, je laisse un message à notre constructeur pour savoir si l'assurance à rendu ses conclusions (car le délai des 15 jours est dépassé depuis longtemps). Il ne me rappelle bien évidemment pas !
Aujourd'hui, je laisse de nouveau un message sachant que 11 jours se sont écoulés depuis la fin prévisionnelle d'étude du dossier (normalement c'était le 20/10). J'ai vraiment l'impression d'être prise pour une idiote !

Je ne sais plus quoi faire ni comment réagir.
J'ai téléchargé le formulaire pour l'AAMOI et je me dis que j'aurai dû le faire plus tôt !

Ce qui m'inquiète c'est que la maison n'est pas encore bâti que déjà nous rencontrons des problèmes. Qu'est ce que ça sera pendant la construction !!!

Avez-vous déjà rencontré ce genre de problèmes ? Si oui, comment cela s'est terminé ?

Merci par avance de vos réponses