Rompre compromis de vente

Bonjour a tous,
j'ai besoin d'aide j'ai signé un compromis de vente pour un terrain le 24/04/13 j'avais jusqu'au 30/06/13 pour deposer mon permis de construire mais la séparation du terrain avec le bornage ne s'est faite que le 27/06/13 je n'ai donc pas pu deposer mon permis de construire. Et la banque m'a indiquer hier qu'elle me refusait mon pret global achat + construction. dans mon compromis il y a une clause suspensive liée à l'acceptation du pret mais elle porte seulement sur le montant du terrain, si la banque me donne une attestation de refus de pret l'agence immobilière peut elle demander des précisions sur le montant du pret ? Sinon est ce que je peux jouer sur le fait que je n'ai pas pu déposer mon Permise de construire à temps du fait que le bornage a trop tardé pour rompre le compromis sans a voir à payer les pénalités ?
Aidez moi !!!
Merrci par avance