Modification permis de construire qui prend bcp de temps

Bonjour
J'ai besoin de conseil pour mettre la pression à mon constructeur.
Fin septembre je signe un compromis de vente pour un terrain pour lequel est déjà posé un permis de construire
Début octobre j'ai signé les plans de ma nouvelle maison chez mon constructeur
Début janvier je reçois un recommandé comme quoi la dépose de modification de permis n'est pas compléte et repousse le permis de 2 mois à la mairie et encore de 2 mois d'affichage.
Début février j’achète le terrain puis le lendemain le constructeur me dit que les travaux pourront commencer la semaine prochaine mais qu'il fallait que je contacte le terrassier pour savoir si il avait des disponibilités.
Puis le surlendemain le constructeur me dit qu'il envoie la modification de permis fin de semaine... Ha bon il n'a toujours pas été envoyé? donc sur les 4 mois initiaux de retard cela fera 5 mois, sous réserve que la modification soit acceptée?
Maintenant que je n'ai plus confiance en lui et que je l'harcele au téléphone, il me renvoie vers sa secrétaire en me demandant de lui expédier en copie les mail que j'adresse à cette gentille dame.
Quels sont mes moyens de pression auprès de ce constructeur pour secouer le cocotier?
Merci.
Nicolas.