Annulation achat terrain

Bonjour, je viens me renseigner car:

-J'avais réservé un terrain dans un lotissement avec un chèque de 500€ a titre d'indemnité d'immobilisation qui a été encaissé par le notaire, et un second chèque de 150€ a titre de provision sur frais qui n'a pas été encaissé.
-Le permis de construire avait été déposé en mairie, puis accepté.

Suite a une étude de sol défavorable pour ma construction (surcoût de 30000€ aux fondations), j'ai annulé mon achat et donc annulé mon rendez vous au notaire.
Je suis donc en ce moment en train de voir avec la banque pour tout ce qui concerne les prêts.

Maintenant, que dois-je faire concernant le terrain, et le permis de construire? Dois-je contacter la mairie afin d'annuler le permis de construire ou puis-je laisser couler?
Concernant les sommes versées au notaire (le premier chèque de 500€ avait été remis au lotisseur, qui l'a lui même transmit au notaire), puis-je espérer les récupérer? Sachant que l'annulation n'est pas a proprement dit de ma faute, mais du a la nature du terrain et au surcoût non prévu et non envisageable dans mon budget.

Merci pour votre aide.