Plus-Value innatendue aprés refuse de permis construire (Aveyron)

Bonjour a tous, je signé mon contrat de maison individuelle dans L'Aveyron en 2013, je passé un cheque de 1500eur comme garantie et garder mon project avec le constructeur parce cetait un project que entrée dans notre rêve!
Aprés l'achat du terrain ont posé le permis de construire mais il vient refusé il faut faire pas mal de modifications comme: (Un verger avec 2 pommiers, poiriers au bien d'autre chose, bordures des fenetres avec un coleur diferente, toit avec une pente si plus importante plus de 50%, et un sisteme de aprovisionnement des eaux pluviales).
Notre terrain est situé dans un site classé et l'architecte de batiment de france demande pas mal de chose ou vient toujours refusé.
Notre constructeur nous informé de plusieurs modifications et a la fin nous a dit que existe des plus-values, donc notre budget est limitè parce que c'est un prét et notre construteur nous avez fait un prix definitif dans le contrat que nous avez signé, comment je fais maintenaint?
Je suis obliger de payer les plus values que ça partirà de notre poche ou anulation de contrat avec ce construteur là et trouver un autre que sa entre dans notre budget?
C'est pas facille une fois que le terrain est dejà a nous, il manque que le permis pour terminer notre rêve!

Merci a vous tous et je vous remerci pour toute réponse et aussi pour votre accueil.