Permis de construire refusé

Bonjour
En Mai dernier, j'ai signé un contrat de construction avec un constructeur. Ce même constructeur m'a proposé un terrain dans un lotissement, que j'ai accepté. J'ai signé le compromis du terrain chez le constructeur en même temps que le contrat de construction, bien que le compromis soit au nom du lotisseur.
Pour les deux contrats j'ai bien reçu les recommandés.
Le constructeur m'avait à l'époque annoncé à l'oral des délais rapides dans toutes les démarches, y compris le permis de construire.

En Juillet, mes dossiers de prêts sont établis, il ne manque que le récépissé du dépôt de permis de construire.
Le constructeur m'annonce que le terrain n'étant toujours pas borné, le dossier n'est pas complet, mais qu'il peut le déposer, que sous un mois je recevrai une demande de pièces complémentaires auxquelles nous aurons pour deus mois pour répondre, et que d'ici là tout sera rentré dans l'ordre.

Le 1er Octobre, RV avec le constructeur qui me dit avoir déposé le jour même toutes les pièces manquantes, que mon permis devrait être accepté rapidement (sous un mois).

Mi Novembre (j'ai laissé passé les 2 longs week end de début Novembre), n'ayant pas de réponse, je recontacte le constructeur. après plusieurs relances (car il faut que je relance plusieurs fois pour qu'on daigne me rappeler, il s'écoule parfois 4-5 jours entre mon premier message sur répondeur et le moment où on me recontacte), j'apprends qu'il manque encore une pièce. Après avoir repris la demande de pièces complémentaires que le constructeur m'avait retransmise, elle faisait bien partie des documents demandés. Ce qui signifie que lors de notre RV d'Octobre, le constructeur m'a menti en disant que tout était OK.

En tout état de cause, mon permis de construire a été refusé début Décembre.

Concrètement, je ne souhaite plus poursuivre avec ce constructeur, ni avec le lotisseur. Puis-je résilier sous la seule condition de la non-obtention du permis? Ou y a-t-il des conditions particulières liées au fait que le terrain est sur un lotissement?
Je peux faire la même démarche auprès du lotisseur?

Je précise que j'avais transmis des documents de la banque précisant que j'avais mes prêts.

Merci de vos réponses.