Recuperer son avance sur frais de notaire ?

Bonjour à tous,

Voila il y as 3 semaines ma femme et moi avons signé un terrain, nous avions vu avec un courtier en crédit très reconnu qui nous avais dit oui, mais par hasard voulant voir si les taux n'était pas plus interressant chez un autre courtier et a notre banque nous avons été les consulté et les deux nous ont dit qu'il ne nous pretais pas et que ct impossible que l'on était a 45%
donc nous voulons nous retracter avec des lettres de refus, mais nous avions deposer 500€ d'avance sur frais de notaire, apparement il ne nous seras restitué que 200€ a cause des frais engagé type réalisation de compromis...
avez vous deja eu ce cas ?

merci