Annulation CCMI auprès du constructeur

Bonjour, ,j'ai signé un CCMI avec un constructeur . Celui-ci nous avait trouvé un terrain qui nous plaisait. Nous avons trouvé bizarre d'avoir le CCMI avant d'avoir le terrain, mais le constructeur nous a dit que ça se faisait sans problème. Plusieurs mois après, nous avons signé un compromis de vente pour l'achat du terrain. L'acte définitif devait être signé il y a deux mois. On nous demande de proroger le compromis encore 4 mois. Nous ne sommes pas d'accord, cette situation d'attente dure depuis presqu'un an, nous souhaitons arrêter l'achat et donc la construction. Pouvons-nous nous retirer de l'affaire sans préjudice ? Le constructeur peut-il nous demander par exemple des indemnités ou garder le chèque versé pour l'assurance dommages-ouvrages? merci de vos réponses.