Annuler CCMI avant ouverture chantier

Bonjour
j'ai signé un CCMI y à quelques mois, le permis a été refusé une fois (problème de distance entre maison et voirie, une boulette du constructeur)
On est donc reparti sur 2 mois d'instruction. Une fois le permis validé nous pensions que le CST ouvrirait le chantier mais ca va faire 2 mois qu'il repousse (on a encore rien versé comme argent).
Dernièrement il invoqué qu'il devait clôturer des chantiers avant d'en réouvrir et que du coup fallait attendre.
Puis je annuler le contrat (meme si je perds mon acompte) ?
Le Terrain est acheté, nous commençons donc à payer.
Est ce que le CST a une obligation en terme de délai d'ouverture de chantier ?
Voyant comment cela commence j'aimerai annuler le CCMI pour en prendre un autre ailleurs est ce possible.?
Merci de votre aide.