Avis ABF conforme mais modifie entièrement ma maison

Bonjour !

Nous avons déposé notre PC en mairie le 13 Avril. Nous construisons dans la tranche 2 d'un nouveau lotissement démarré il y'a 3-4 ans.
Avant cela, étant situés en zone ABF nous avons consulté l'avis de l'ABF, qui hormis la taille d'une fenêtre et la couleur du crépis, nous avait donné son accord oral. ( nous avons donc changé les points conseillés pour que notre permis soit correct. )
Cette semaine, nous avons téléphonés à la mairie pour demander des nouvelles du permis, ils nous ont répondus que le délais de prescription était passé pour eux, mais qu'ils attendaient une semaine au cas ou, et que nous aurions une réponse ce vendredi. On nous a également dis que d'après eux le permis était correct et devrait être accepté.
A midi, j'ai reçu le courrier des ABF ( reçu apparemment le 19/04/17 chez eux, et avis signé le 19/06/17 donc selon les dates ils sont dans leurs délais. )
Et là, surprise, l'avis est conforme assorti de préscriptions.
Mais quand je lis les prescriptions, nous sommes dépités !
-Nous avons fais les plans pour une maison en demi-niveaux, or ils veulent désormais que les accès a la maison ( entrée, garage, accès au jardin ) se fassent de plein pied avec une tolérance de 0,50m par rapport au niveau du terrain ( donc impossible en demi niveaux ! Il y'a forcement une legère surélévation de la maison, et le garage semi enterré ! )
-Nous avions prévu une "lucarne" à l'étage ( chien assis carré ), celle-ci est refusée ( bien que accordée lors de l'entretien oral ) alors que beaucoup de maison dans le lotissement en ont.
-Idem pour les chéneaux encastrés en limite de propriété, alors que tout le monde en a
- Ils demandent également des portes en bois ou métal laqué sombre alors que le PLU demandaient juste des portes couleurs anthracite que nous avons respecté sur le permis ( personne n'a de portes en bois ni en métal dans le lotissement ! )

Nous voilà donc un peu sur le cul, nous qui n'imaginions pas de soucis majeur suite a l'entretien.
La mairie est fermée aujourd'hui, nous irons demain à la première heure demander leurs avis et conseils.
Peuvent-ils passer outre l'avis des ABF ? Etant donné que les choses que nous voulions ont déja été faites dans le lotissement ? Je ne vois pas comment ont peut "accorder" un permis pour un plan donné, alors que l'abf souhaite que nous changions la structure de la maison !

Quels sont vos avis et retours d'expérience ?
Merci d'avance...