Demande de l'abf apres signature du ccmi

Bonjour a tous,
Mon problème est un peu difficile à synthétiser, mais je vais faire au mieux.
En juin 2019 nous avons signé un compromis de vente pour un terrain situé en zone des bâtiments de France, et dont il fallais encore procéder au découpage et à l'enregistrement auprès du cadastre, et demander un permis d'aménagement après de l'ABF. De plus le terrain est situé sur le bas d'un colline.
Nous avons ensuite consulté plusieurs constructeurs afin de connaitre la faisabilité du projet et avons signé un ccmi avec l'un d'eux en juin 2020.
Lors de la signature du CCMI, la decoupe n'était pas encore faite et la demande de permis aménagement pas encore déposé, ce que le cst s'avait parfaitement, et nous s'avions toys que les plans pouvaient être modifiés à la demande de l'ABF.
Je me dois de préciser que le terrain en question est un jardin situé à 1 metre au deessus de la voirie, soutenu par un mur "protégé" par l'ABF.
Apres decoupe du terrain en seprembre 2020, les plans ont étés modifiés une première fois puis que la limite de propriété n'est pas totalement perpendiculaire à la route. ( il y a un ecris qui stipule qu'il s agit d'une modification des plans initiaux).
En octobre 2020, nous avons reçu le permis d'aménagement, avec les recomandations de l'ABF, avec notament la conservation du mur de soutenement.
Suite à ce courrier,le cst à demandé l'intervention d'un architect afin de répondre au mieux aux demandes de l'ABF. L'architect à indiqué dès le début que les plans initiaux serrais refusés. Initialement nous étions sur un demi-niveau, alors que l'architect préconise un plan dans le même esprit, mais avec le demi-niveau en retrait
Nous avons eu un rdv en visio avec l'ABF qui confirme que seule la proposition de l'archirect est possible, en preservant au maximum le mur de soutient ( en detruire le moins possible) et conservation du mur a l'arrière de la maison.
Suite à cela, nous avons eu un RDV avec le commercial et l'architect afin de valider les nouveaux plans.
C'est maintenant que l'histoire se complique...les plans de la maison ayant étés modifiés, et la suface habitable augmenté de 5 m2, le cst devais chiffrer la nouvelle proposition,( pas de fenêtre en plus ni fourniture supplémentaire), ce que nous avons accepté (oralement).
Après 3 semaines d'attente, nous avons recontacté le cst, et là, surprise, on nous explique que la construction risque de couter beaucoup plus chère, puisqu'il va faloir

1. Consolider la colline pour eviter un glissements de terrain
2. Demonter et reconstruire le mur classé.

J'ai indiqué, par écrit, au constructeur que ces nouveaux frais devaient être supporté par lui, puisque le ccmi à été signé et que de ce fait les prix sont fermes et definitifs et qu'il aurait dû attendre le permis d'amenagement et un pré accord de l'ABF avant le CCMI.

Le cst m'a répondu que suite aux demandes de l'ABF, nous n'étions plus sur le même projet, et que de ce fait, il fallait tout recommencer et que de ce fait l'ensemble des nouveaux frais étaient à ma charge.

Ma question est la suivant: Puisque qu'au moment de la signature du CCMI,le cst savait que l'ABF avait un avis à donner, que le terrain n'était pas encore découpé, et que les plans pouvaient êtres modifiés par l ABF, que la colline n'a pas poussée en 10 mois, et que j'ai des écrits réguliers qui parlent explicitement de modification du projet initial à la demande de l'ABF, le cst doit il repecter la demande initiale et construitre la maison, ou bien est-il en droit de considérer qu'il s'agit d'un nouveau projet et que l'ob repart à zéro?
D avance merci d 'avroir pris le temps de me lire et de me donner votre avis.