Refus ABF pour fenêtres PVC - est-ce légal?

Bonjour à tous,
Je souhaite remplacer des vieilles fenêtres bois par du PVC, mais malheureusement je suis en zone patrimoniale remarquable, soumis aux prescriptions des ABF.
Ma demande préalable en mairie a abouti a un "accord de l'ABF assorti de prescriptions" (ce qui pour moi est synonyme de refus) : "toutes les nouvelles menuiseries doivent être en bois avec 2 vantaux avec croisillons". Identique à l'existant donc.
Particularité de ma demande : actuellement j'ai des fenêtres bois sur un coté (le pignon) peintes en blanc et des fenêtres bois sur la façade avant teintée (couleur marron), ce qui est peu esthétique (2 couleurs différentes). L'ABF ne prescrit rien sur la finition (couleur blanc ou marron? aucune précision), il demande juste du bois.
Le bois c'est très beau, mais c'est aussi bien plus cher que le PVC. Et moi je souhaite améliorer l'isolation de ma maison, mais mon budget est incompatible avec les prescriptions de l'ABF.
Par ailleurs, sur le site senat.fr,  j'ai lu la réponse (7/4/2011) de la ministre en charge des ABF sur le refus systématique du PVC par les ABF. Extrait : "Les architectes des bâtiments de France (ABF) ne sont pas opposés, par principe, à l'utilisation de matériaux tels que le PVC dès lors que leur mise en oeuvre ne porte pas atteinte à la qualité et la cohérence des espaces protégés. Il n'y a pas de leur part de refus systématique d'une telle utilisation."
Donc je m'interroge. Je comprends que l'ABF impose une finition esthétique (couleur ou aspect bois), mais ce n'est pas le cas ici. Par contre, je ne comprends pas qu'il impose un matériau (bois et rien d'autre), alors qu'il existe maintenant des PVC imitation bois assez réussi.
Mon ABF a-t-il le droit de procéder ainsi? Ok pour imposer une finition, mais peut-il vraiment imposer le matériau bois? Peut-il vraiment m'interdire le PVC en tant que matériau?
Je m'interroge sur la possibilité d'aller à l'encontre de son avis. Dans l'hypothèse d'un décision judiciaire, que dirait un juge? Il paraît que cela peut aller jusqu'à la dépose des fenêtres non conformes (en théorie) mais cela arrive-t-il vraiment?
Merci d'avance à ceux qui pourront m'éclairer.
Cordialement,