Problème avec le vendeur du terrain

Bonjour et désolée d'avance si je ne poste pas dans la bonne rubrique, mais je ne sais pas trop où poster !
Voici notre problème :

Nous avons visité un terrain cela fait 15jours maintenant, le vendeur (un agent immobilier indépendant) nous a donné un accord verbale pour la réservation du terrain et n'a pas voulu nous faire signer de bon de visite.
Nous avons fais passé 2 constructeurs sur le terrain pour voir si avec notre budget nous pouvions faire construire une maison sur le terrain. Normalement le projet sera réalisable.
Seulement voilà pour tout expliquer, la tante du propriétaire donne 10m de plus en facade à son neveu pour pouvoir vendre le terrain plus facilement (ça ammène le terrain à 17m en long sur la route), le terrain est à 1m50 au dessus du niveau de la route, apres un virage et une assez grosse et longue bosse, ce qui fait que l'accés du terrain sera en au maximum en limite de propriété pour s'éloigner au max de cette bosse et du virage.
Il est constructible c'est sur, mais le CU sera délivré en papier la semaine prochaine. Le terrain n'est pas encore borné, le propriétaire veut être sur d'avoir des acheteurs avant de faire passer le géomètre.

On a nous a prévenu qu'il y aurait pas mal de terrassement à faire, mais vu la situation géographique du terrain et la superbe vue et surtout le gros coup de coeur, on est prêt a faire des concessions sur quelques pièces pour acheter ce terrain.

J'ai appelé cet après midi l'agent immobilier pour lui dire qu'on voulait signer un compromis de vente car apparement il a déjà d'autres personnes intéressées. Je lui parle des clauses suspensives que nous voulons mettre (le CU, le financement, la desserte du réseau électrique, et l'obtention du permis de construire), et là... il m'a limite jeté car il ne veut pas mettre l'obtention du permis de construire en clause car à partir du moment ou le terrain est constructible il n'y a pas lieu de mettre le PC en clause, et que à moins de déposer le permis de construire sous 15j, il ne le mettrait pas en clause...

Si on a un doute sur l'obtention du permis de construire c'est pour l'accés au terrain qui sera surement difficile vu la configuration du terrain (bosse + virage). J'ai de suite appelé le constructeur pour lui expliquer la situation, et il m'a dit de faire noter en clause (puisque'il ne veut pas mettre le PC), sous réserve de l'obtention d'un papier du maire approuvant l'accés au terrain.

Désolée du pavé (et encore j'ai abrégé !!! ) mais je ne sais pas si une lettre du maire a une valeur légale !

Vous feriez comment vous ?? J'ai vu que la clause pour le permis de construire était quasiment partout, du coup, j'ai peur de me faire avoir

Si quelqu'un pouvait m'éclairer, on a RDV demain matin avec lui