Annuler un CCMI (Cher)

Bonjour,
J'ai signé un contrat de construction de maison individuelle avec un constructeur en mars, nous arrivons au mois de novembre et rien n'est commencé, la maison n'est même pas implanté...
En fait la construction devait commencé en septembre, je devais avoir un Rdv avec le conducteur de travaux des qu'il rentrait de congé donc début septembre puis le chantier devait commencé dans la foulée... Mais impossible d'obtenir un rdv, impossible d'avoir ce monsieur au téléphone, à force de l'appeler tout les jours j'ai réussi à avoir un Rdv début octobre. Pas de soucis particulier, la maison devait être implanter la semaine suivante au plus tard puis le démarrage du chantier commencer avant la fin du mois. Fin de semaine toujours rien, je rappelle le conducteur de travaux qui m'apprend qu'il y a un soucis avec le dépôt du permis, bref qu il faut le résoudre, problème résolu en moins de temps qu'il ne faut pour le dire... Et puis pas de nouvelles, je décide donc de rappeler ce matin et la on me dot qu'il est en congé... J'en ai plus que marre, je crois qu'il se fou de moi... J'aimerais tout simplement lui dire au revoir et chercher un autre constructeur...
Y aurait il un moyen d'annuler ce contrat? Une petite faille qui ferait qu'il deviendrait caduc?
Merci de m'aider j'en ai vraiment marre, j'ai acheter le terrain donc je commence à rembourser le prêt + mon loyer à payer et le chantier qui ne démarre pas