Annulation permis de construire

Bonjour, 

Je voudrais renoncer à mon contrat de construction. Je viens d'avoir le permis de construire, sur lequel  est noté que je dois prendre des dispositions  car  la voirie est plus haute que ma maison et  que  je suis donc  à risque d'inondation en cas de fortes pluies. La construction n'a pas commencé. J'ai signalé ce problème au constructeur qui fait "la sourde oreille". Puis-je écrire à la mairie pour demander une annulation de mon permis et si cette annulation est  réalisée, le  constructeur est-il tenu de me rembourser  l'acompte qui est déposé  à la Caisse de Garantie Immobilière.