Que faire quand un constructeur ne démarre pas la construction?

Bonjour 
On a signé un CCMI en septembre 2021. On a eu des problèmes avec le PC du terrain à cause d’un recours mais tout s’est résolu le 22/02/22.
Depuis notre constructeur traîne à débuter les travaux. 
Le terrassement a été fait, après une étude G2pro , il s’est terminé mi juillet. Les fouilles ont été faites début septembre. Depuis rien. 
Ce qui m’inquiète c’est que le terrassement a nécessité des blocs de béton type lego, ça fait 3m50 de haut et qu’à proximité il y a le pool House du voisin. En fait ce qui m’inquiète c’est qu’à la réunion de chantier en juin le chef des travaux avait insisté sur le fait de construire rapidement derrière le terrassement pour éviter tout effondrement. Donc à chaque fois qu’il pleut j’angoisse et je ne dors pas. 
Notre constructeur n’est pas fiable il me dit tous les 15 jours qu’ils viennent et rien. 
La dernière en date…c’est qu’ils ne savent pas si ils vont avoir une assurance pour le chantier car le coût de la maison n’est pas assez élevé depuis la hausse des prix…
Que faire?
On a vu un avocat qui dit de casser la CCMI et de voir un autre constructeur… pour quel prix???
Je me demande si c’est pas justement le but de notre constructeur…
L’avocat dit que tant qu’on est dans les délais de construction (19 mois) on ne peut pas faire grand chose…
J’ai fait des recherches sur internet et notre constructeur en ce moment a très très mauvaise réputation. 
Bien sûr on a crédit relais sur le dos… mon mari étant handicapé on ne voulait pas partir de notre maison actuelle car elle est adaptée…
Bref…
Avez-vous des conseils?