Permis de construire avec accès terrain difficile

Bonjour,

Je me tourne vers vous après avoir épluché le forum sans trouver d'expériences similaire.

Je vais essayer de faire simple, voici mon histoire : 

Juillet 2020 > offre d'achat sur un terrain
Une partie en zone constructible, d'où débouche une ruelle très étroite d'environ 2,5m de large venant du centre du hameau. L'autre partie (plus petite) en zone agricole desservie par une large voie communale en bordure du terrain.
Un PC avait été accepté il y a quelques années. Puis le PLU a changé (début 2020) et il semblerait qu'une limite constructible/agricole ait été tracée aléatoirement sans prendre en compte la réalité du terrain (qui est quasi plat ce qui est rare car nous sommes en montagne) 
25/07/20 > demande de CUO
Fin août > signature du compromis, avec clause d'obtention de PC (demande à déposer sous 1 mois)
25/09/20 > toujours pas de retour du CUO, nous déposons la demande PC
26/09/20 > retour du CUO! Négatif! Au motif que l'accès est insuffisant. Nous souhaitons construire sur la zone constructible mais accéder par la zone agricole (sur une longueur d'environ 20m). Cet accès est déjà existant sous forme d'un chemin. Mais la loi interdit d'aménager un accès en zone agricole.
Fin octobre > appel puis RDV avec le directeur de l'urbanisme à la mairie. Il nous dit que notre PC va être refusé pour cette raison d'accès et d'autres raisons que nous comprenons. Il nous conseille d'annuler notre demande et de préparer un autre projet, ce que nous faisons.
Après un autre RDV avec lui et avec l'architecte conseil, nous déposons une nouvelle demande de PC le 4/12/20.
Juste avant Noël, nous recevons une demande de pièces complémentaires.
Nous contactons le service instructeur qui nous dit que notre PC ne sera jamais accepté à cause de cet accès insuffisant. 
Début janvier, nous les déposons en mairie et recevons un appel de l'archi conseil. Plusieurs choses ne vont pas. Suite à RDV, nous modifions les pièces. On nous suggère de noter sur le plan de masse un accès par la petite ruelle. Selon la mairie, l'instructeur n'a jamais mis les pieds dans la commune et ne mesure pas le caractère étroit de cette ruelle! Nous suivons leurs conseils.
On nous informe que le maire et les élus ont émis un avis favorable pour notre projet.
26/01/21 > dépôt des pièces complémentaires
Fin février > appel à la mairie qui nous confirme que nos pièces ont bien été transmises au service instructeur et que le dossier suit son cours.

Nous attendons donc une réponse pour le 26/03 au plus tard. L'attente est insoutenable et nous n'osons plus appeler la mairie! 
La vente du terrain devait se faire en mars mais nous avons demandé un délai supplémentaire au notaire et au vendeur.

Quelqu'un a-t-il vécu une expérience similaire?
Pensez-vous que si le maire est d'accord, il peut s'opposer au refus du service instructeur et ainsi accorder le PC?

Je suis preneuse de vos conseils. Les terrains sont très rares et vendus à des prix très élevés dans notre secteur. Nous avons cherché pendant 3 ans et voudrions plus que tout voir aboutir notre projet!

Merci d'avoir pris le temps de lire!