Peut-on annuler un CCMI lié à un compromis de vente sans pénalités ?

Bonjour, je me tourne vers vous car ma femme et moi même rencontrons quelques soucis. En effet nous voulions faire construire notre maison mais après quelques soucis avec notre constructeur et l'actuel propriétaire du terrain nous avons pris la décision d'annuler ce projet et cherchons un moyen pour éviter les pénalités. Donc pour résumer nous avons signé un ccmi le 04/05/2016 et un compromis de vente du terrain au notaire le 19/05/2016. Est ce que cela rends le contrat illégal tout en sachant que sur le ccmi il n'y a que de stipulé "promesse de vente : en date du 04/05/2016" et qu'il n'y a aucun papier concernant le terrain à cette date ? Et par ailleurs sur le ccmi dans la rubrique "financement de la construction" ils nous ont mis un taux à 2,00% et notre offre de prêt est à 2,10% peut on faire jouer cela en condition suspensive ? Après les déboires que nous avons appris sur cette société nous aimerions éviter de leur fournir la vaseline autant que possible . Merci à vous tous.