Annulation promesse de vente

Bonjour,
Voilà nous souhaitions faire construire une maison, nous avions trouvé le terrain nous avons signé un compromis de vente le pret était accepté et signé, le permis de construire déposé et voilà que l'on reçoit un papier d'Habitat de France pour nous signaler que le terrain est proche d'un site classé donc nous devons faire quelques modifications sur la maison. Coût total des modification= 7000 euros de travaux en plus mais la banque ne veut pas nous suivre pour ce supplement. On a donc décider d'annuler la promesse de vente car nous somme dans l'impossibilité de trouver cette somme mais la banque ne veut pas nous donner un justificatif comme quoi ils refusent de prendre en charge le montant total de la maison et du supplement sous pretexte que l'on a une offre d'eux qui a été accépté même si le montant n'est pas assez gros. Du coup sans ce papier nous ne pouvons pas annuler la vente sauf si on verse 10% du prix du terrain au vendeur ce qui est impossible pour nous. Je ne sais pas si tout ça est clair mais on ne sait plus trop quoi faire, on ne sait pas si la banque a réellement le droit de nous refuser ce papier .

Merci à tous ceux qui pourront m'apporter des reponses.