Rémunération constructeur? (Haute Vienne)

Bonjour à tous,

je suis nouvelle sur le forum et j'espère poster mon message au bon endroit.

Je vous expose mon cas : en novembre dernier, nos avions trouvé un terrain mais soumis à l'avis des Bâtiments de France. Après nous être renseignés sur ce qu'ils demandaient (tuiles et pente de la toiture), nous avons signé un compromis de vente avec l'agence immobillière.
Par la suite, nous avons trouvé un constructeur qui nous a proposé différents plans de maison "types". Nous nous sommes mis d'accord sur un qui nous convenait, mais nous avons tout de même fait avec le constructeur quelques modifications (surtout la taille et l'implantation des pièces).
Nous avons signé un CCMI et donné un chèque de 5% du montant de la maison. Le constructeur s'est déplacé pour voir le terrain et a même posé les piquets pour voir l'implantation de la maison et permettre le dépôt du permis de construire.

Le problème est que ce permis de construire est revenu négatif au bout de 3 mois à cause des Bâtiments de France. Nous avons donc pris rendez-vous avec eux pour éclaircir le problème (il y avait des motifs de refus dont on ne nous avait jamais parlé) , mais il n'y a pas eu moyen de discuter : il aurait fallu faire une maison 2 fois plus chère que notre budget.
Nous avons donc été obligés de renoncer à cette construction.
Il n'y a eu aucun souci pour se rétracter de la vente du terrain, ni pour annuler le crédit.
Nous avons eu un peu peur de ne pas récupérer notre chèque de 5% auprès du constructeur, mais au final on nous l'a bien rendu.

Mais je me pose maintenant pusieurs questions : suis-je encore liée au constructeur? Dois-je trouver un nouveau terrain et faire construire absolument avec lui? Et si jamais nous décidons de ne plus faire construire, lui devrais-je de l'argent (pour les plans, le permis de construire,les déplacements sur le terrain, ...)? Et si je lui dois de l'argent, combien? Je ne voudrais pas "me faire avoir" en lui réglant des frais abusifs.
Je m'étais renseignée auprès de l'ADIL mais la seule réponse que j'ai eue a été : peut-être que oui, peut-être que non!

Je vous remercie d'avoir pris le temps de me lire et j'espère que vous pourrez m'aider à résoudre mon problème.