Refus de permis de construire - le pot de terre contre le pot de fer

Bonjour,
Nous avons signé un compromis pour l'achat d'un terrain dans la Drôme. 
Nous achetons 3 parcelles dont une qui est un emplacement réservé par la mairie et qui doit être le chemin permettant de désenclaver les parcelles (aujourd'hui le seul accès est par le chemin du voisin, mais autorisation tacite sans servitude).
Depuis 8 mois, le maire fait la girouette (à l'oral bien sûr) à cause de cet emplacement réservé. Il a commencé par dire que la mairie  ferait le chemin, puis que ce devrait être à nous de le faire et maintenant nous refuse le permis.
Il y a eu auparavant un projet de lotissement et il semblerait qu'il bloque parce qu'il voudrait 16 maisons là où nous en prévoyons 2.
La zone est "à urbaniser" et l'emplacement réservé destiné à être le chemin d'accès à d'autres futures parcelles.
L'argument est que la mairie n'a pas les moyens de faire le chemin qu'elle aurait estimée à 80 000€.
Sur le permis, nous avons bien signalé que NOUS ferions le chemin et malgré tout c'est un refus avec comme argument :
"CONSIDÉRANT ainsi que l'urbanisation de la zone est réalisable dès lors que la voirie publique prévue en emplacement réservé est réalisée par le bénéficiaire de l'emplacement réservé; Considérant que la commune n'a pas réalisé l'emplacement réservé ;
CONSIDÉRANT que le projet consistant en la construction d'une maison individuelle sur la parcelle AB 466 comprenant un chemin d'accès privé sur la parcelle AB 464 ne satisfait pas aux conditions d'ouverture à l'urbanisation et que dès lors il ne respecte pas l'article AUa précité; "
 
Les différents interlocuteurs à qui nous avons fait part de notre désarrois, semble tous d'accord pour dire que ce refus n'est pas conforme à la loi.
Nous avons fait un recours gracieux, sans réponse à ce jour. Je n'arrive d'ailleurs pas à trouver les délais légaux pour ce recours.
Nous avons déposé un dossier auprès du défenseur des droits, mais les délais sont loooooongs.
Si vous avez des infos/conseils/pistes ou autres, nous sommes plus que preneur.
Anne et Nicolas

[img]https://files.forumconstruire.com/noimg.png?1[/img]