Architecte des batiments de France borné ?

Bonjour à tous,

Nouvel arrivant, je me suis inscrit suites aux soucis avec l'architecte des bâtiments de France...
Venant d'acheter une maison en Picardie où toute la ville est en zone protégé, je souhaitai changer toutes mes menuiseries car celles ci sont délabrés (elles datent de la maison c'est à dire de 1946-1950) et ce n'est que du simple voir du survitrage.
Voulant bien faire, je contacte l'ABF pour savoir si j'ai besoin de faire un dossier spécifique. En effet, mon projet est de mettre des blocs baies (coffre intérieur) en blanc pour que cela ne choque pas le paysage (les fenêtres étaient peintes en blanc et il y avait des volets vert-marron métallique type persienne).
La réponse de l'ABF est clair et net au téléphone," inutile de faire un dossier je le refuserai de toute façon, le pvc est formellement interdit et je vous ferai arracher toutes vos fenêtres si vous faites quoi que ce soit comme modification".
Je lui indique mon étonnement car tout le quartier est assez hétérogène (volet à battant, persiennes, volet roulant (avec les coffre bien moche et tous les coloris)).
L'ABF une fois son calme repris, me déclare qu'il ne veut que du bois, du bois, du bois et que la taille de mes fenêtres étant hors normes il faudra les rétrécir et mettre des petits bois...

Ironiquement, je demande au voisin très aimable... eux ils n'ont rien demandé à personne mais ne se gêneront pas pour dénoncer si je fais les travaux sans effectuer la demande ( beaucoup de personne âgé qui ne veulent aucun travaux à part les leur dans le quartier (chouette)).


Donc ma question est de savoir si l'ABF a tout les pouvoirs en matière de décision (celui là m'ayant l'air très atteint) et si il peut réellement me faire arracher toutes mes fenêtres si je les fais poser quand même.

C'est quand même dingue qu'en voulant respecter la loi, je sois ennuyer à ce point là.

Merci d'avance pour vos conseils,