Pret accordé suite à la recherche par un courtier mais Permis de Construire refusé. casser le contrat avec le courtier ?

Suite aux recherches de mon courtier  j ai trouvé un financement pour la construction de ma maison. j'ai signé l'offre de prêt avant de savoir que mon permis était refusé. est ce que le contrat avec mon courtier s'annule sachant que je ne suis pas allée jusqu'au bout de mon projet alors qu il m a trouvé mon prêt. je ne vois pas de clause suspensive dans mon contrat. est ce que je lui dois des honoraires ? Puis je casser le contrat sans frais. Ayant un nouveau projet, j ai vu mon banquier ce matin qui me propose un taux intéressant.