Refus PC par ABF

Bonsoir, nous sommes dans un projet de construction depuis le mois de miai 2006, et attendions l'accord du PC pour signer l'acte définitif d'achat du terrain et ouvrir le chantier.
Seulement notre terrain est dans une zone classée : chateau + mur d'enceinte parc chateau + zone naturelle classée.
Une partie du terrain est cependant constructible avec un CU ok.
N'ayant pas de nouvelles de la DDE, pour le pc, j'ai appelé et la fille m'a dit qu'il lui manquait des pièces pour boucler le dossier mais qu'elle savait qu'il serait refusé car l' ABF a émis un avis défavorable car il ne veut pas de maison sur ce terrain là, et met en cause la faisabilité d'un projet à cet endroit.
Nous avons donc demandé par fax le compte rendu de l'ABF et sommes allée rencontrer le maire et l'adjoint à l'urbanisme de la commune.
Ceux-ci sont surpris, ils estiment que notre projet est réalisable et ne voient pas de soucis.
Ils proposent éventuellment d'en référer au préfet de région si le rdv avec l'ABF ne donne rien et attendent le refus de PC officiel.
Nous avons appelé l'ABF pour prendre rdv, celui-ci nous a fixé une date dans un premier temps puis nous a rappelé pour annuler car il estime que ça ne changera rien, il n'y a pas matière à discuter, pas de maison à cet endroit malgré terrain constructible..
Quel recours avons-nous ? c'est le maire qui signe les PC, peut-ll aller au-dessus l'avis de l'ABF ?
Merci de vos éclaircissements