Permis de Construire: l'ABF demande de changer une porte d'entrée déjà existante ?

Bonjour à tous,

Je viens de recevoir un avis non conforme au règlement du SPR par l'Architecte des Bâtiments de France (ABF) pour un projet de division et rénovation d'un immeuble. Je touche à l'extérieur pour démolir une extension non déclarée par le précédent propriétaire, je change certaines menuiseries et j'en repeins d'autres.

L'ABF indique (entre autres...), comme motifs du refus que le projet ne respecte pas les prescriptions du règlement du SPR :
III.2.7. Les menuiseries de fenêtres

- Le remplacement de menuiseries par des dispositions sans rapport avec le style de l¿immeuble est interdit.
En conséquence, le remplacement de la fenêtre du rez-de-chaussée par une fenêtre à traverse haute droite et non
cintrée comme le linteau de la baie n'est pas autorisée.
III.2.8 Les menuiseries de portes
- Le remplacement des menuiseries par des dispositions sans rapport avec le style de l¿immeuble est interdit.
En conséquence, la pose d'une porte avec 1/2 lune vitrée de composition contemporaine et non d'une porte de
composition traditionnelle n'est pas autorisée.

La fenêtre actuelle est déjà à traverse haute, et absolument pas cintrée.
Concernant la porte: je ne la pose pas, je conserve l'existant et je la repeins.

Par ailleurs, je n'ai pas trouvé sur les règlements d'urbanisme existants (AVAP/SPR et PLU) d'indications permettant de refuser ces travaux. Je les avais consulté ainsi que le dessinateur de mes plans. 
Je me demande donc sur quoi l'ABF se base pour rendre un avis... Sommes-nous sensé deviner ?

Je trouve ça fort de refuser de manière unilatérale un projet qui améliore l'existant dans une ville où le bâti se détériore de plus en plus, alors que j'ai pris en compte les indications des règlements à disposition et échangé avec le service urbanisme. D'autant plus en sortant des règles du chapeau ! C'est bien triste. Il ne faut pas s'étonner que nos centres soient délabrés dans de nombreuses villes.

Suis-je obligé de modifier mon PC et de le redéposer en mairie (et donc recommencer le délai d'instruction à 0) ? Sachant que je suis pris par le temps.
Sinon, je pensais ne pas toucher à l'extérieur officiellement, et donc ne rien avoir à déclarer ?
Pour l'extension, que je dois démolir en tous cas et qui n'a jamais été déclarée, j'imagine que ça ne gênera pas si je la démolie. Les menuiseries pourraient être changées à l'identique (ou presque) pour du double vitrage. La porte d'entrée resterait la même. Je ne changerais même pas les couleurs des menuiseries pour que ça passe inaperçu.

[color=#333333]Qu'en pensez-vous ?[/color]

Merci par avance.