Clause suspensive du compromis pour l'achat d'un terrain

Bonjour,

Nous avons signé un compromis de vente pour l'achat d'un terrain en lotissement. Nous avons soumis cet achat à l'obtention du permis de construire (clause suspensive).
Le vendeur n'était pas réèllement en joie de cette clause mais l'a accepté en demandant à ce que le permis soit validé au plus tard le 17/07/2013.
Nous avons accepté et signé le compromis.
Lorsque nous avons reçu le compromis et que je l'ai bien relu, en réalité la condition est que le dépot du permis de construire soit réalisé au plus tard le 17/05/2013.
Sauf que notre commercial (de notre constructeur) est en congé jusqu'au 21 mai... de plus, nous aimerions savoir s'il est possible de changer l'implantation de notre maison que nous avions prévu avec lui.
J'ai appelé la notaire qui m'a expliqué que c'était parce que le délai du permis de construire était de 2 mois (17/07 -> 17/05) et, qui m'a dit de voir avec le lotisseur si ça lui pose vraiment un problème ; je n'ai pour l'instant pas réussi à le joindre, mais je pense que ça va lui en poser un, vu son "enchantement" lorsqu'on a demandé cette clause...
J'ai demandé à la notaire si toutefois cela posait vraiment un problème si nous pouvions "renoncer" à cette clause (et donc ne garder que celle relative à l'obtention du prêt), et cela est tout à fait possible.

J'aimerais savoir si certains n'ont pas soumis l'achat de leur terrain à l'obtention du permis de construire ?
Sachant que je pense que les risques sont moindres : c'est un lotissement, une construction traditionnelle, respect RT2012, respect du POS (largement même) ...
Ce qu'on a peur c'est que le PC soit refusé pour une raison qui nous coûterait cher à faire modifier... et du coup, le coût de la maison en prendrait un coup...

Qu'en pensez-vous ?

Merci d'avance pour vos avis et témoignages !