Annulation compromis de vente terrain à cause erreurs du vendeur

Bonjour à tous, j'ai signé un compromis pour un terrain mi août 2019 .( Terrain issu d'une division en trois lots d'un plus grand terrain)
J'ai voulu déposer une demande de permis de construire mi septembre 2019 mais la mairie m'a annoncé ce jour là qu'une demande de permis d'aménager ce terrain avait été déposée début août et que du coup j'étais en train de déposer un permis pour un terrain qui n'existe pas puisque le permis d'aménager le-dit terrain n'était pas encore accepté.
Après concertation avec l'agence qui m'a vendu le terrain il à été entendu de faire un avenant au compromis pour prolonger les délais d'acceptation de mon permis de construire, car le délai d'acceptation du permis d'aménager du terrain doit être purgé début décembre,et par la même occasion l'agence nous à conseiller de déposer la demande de permis de construire mi octobre pour que l'étude de notre permis de construire termine en même temps que le permis d'aménager.( Tous les délais sont prolongés d'un mois car zone bâtiments de France).
J'ai donc déposé mon permis en mairie mi octobre et je viens de recevoir un recommandé me demandant de fournir des pièces complémentaires, les PCMI 9 et PCMI 10 .
Le problème c'est que le propriétaire du terrain ne peux pas me fournir la PCMI 9 puisque le permis d'aménager n'est pas encore accepté et la PCMI 10 parle de viabilisation, chose que je comptais faire pendant la construction de la maison mais il s'avère que le terrain est situé en zone "lotissement" et que du coup c'est au vendeur de fournir la viabilisation.
Donc vu toutes ces complications je souhaite ou bien annuler le compromis mais j'ai de gros doutes sur cette possibilité sans perdre d'argent, où bien demander au vendeur de prendre à sa charge cette viabilisation et vu toutes les contraintes et les imprévus qui nous tombent dessus je pense que ça serait normal...
Merci d'avance pour vos avis,vos conseils..
Bonne journée