Changement fenêtre identique en rénovation Bois vers PVC en zone aux abords, côté jardin sans vis a vis

Bonjour, j'aimerais vos conseils

Nous avons fait l'acquisition d'une belle maison laissée à l'abandon pour un défi de rénovation. Nous voulons prendre grand soin de cette maison et la rénover avec respect.

Ma question va porter sur les fenêtres, la maison comportait 22 fenêtres en bois qui étaient soit cassées soit avec du bois moisi et contenant également du plomb

Nous avons choisi un artisan du village implanté la depuis 3 génération afin d'être conseillé au mieux. Nous lui avons demandé un changement à l'identique au milimetre en rénovation. Pris dans l'urgence d'un emmenagement avec des enfants en bas âge et la peur du risque avec le plomb et sur ses conseils nous sommes parti sur du PVC pour plusieures raison : 

• Problèmes d'approvisionnement au printemps sur le bois
• +50% sur les prix des menuiseries en bois 
• voie ferrée à proximité besoin d'une bonne isolation accoustique
• urgence de l'installation avec enfants (froid + plomb)
• la facade de la maison se trouve a 14m de la rue ( dur de voir une différence bois vs pvc), les 3 autres façades ne sont visible de personne, ni rue, ni voisins.

J'avais fait des recherches concernant les déclaration nécessaire à faire et j'avais lu qu'en cas de changement à l'identique et même pour un changement de matériau il n'est pas nécessaire de faire de déclaration en mairie.

Problème : 

Nous sommes apparement situé non dans une zone protégée mais aux abords d'un monument historique dans une zone délimitée par les ABF, cette information n'était indiquée nulle part sur le PLU qui mentionne uniquement une zone protégée trés spécifique du centre ville et sur les plans nous voyons bien que notre maison est exclue de cette zone.

Donc pour faire simple nous avons remplacés les fenêtre existantes par du PVC dans une zone soumise à l'ABF sans leur accord.

Je ne me dédouanne en rien de cette erreur, nous aurions du faire moins confiance a l'artisan et a nos recherches et demander directement en mairie.

Maintenant les choses sont faites et la mairie à reçue un courier anonyme (  ) dénoncant nos travaux sans déclaration

Nous avons pris rdv immédiatement pour régulariser la situation et tout leur expliquer.

Désolé pour ce long message mais voici ma question :

Quand arrivera fatalement le moment ou les ABF se prononceront sur nos travaux, et si ils se prononcent négativement, nous serions condamner à changer les fenêtres ? 

Pouvons nous centrer les discussions sur la facade uniquement, quel est le pouvoir de l'ABF quand aux autres fenêtres que PERSONNE ne peut voir, et donc personne ne peut constater si elles ont été changées, et personne ne pourrait constater que nous les avons changées pour du bois suite a une injonction des ABF? 

Quand aux fenêtres côté rue comme je l'ai dis nous sommes a 14m de la rue, peut etre qu'un spécialiste peut identifier du pvc a cette distance mais même dans ce cas nous serions prêt à négocier et a changer les fenêtres de la façade pour du bois si vraiment nous sommes au pied du mur. Mais il est inconcevable que nous puissions jeter 22 fenêtres en PVC pour les remplacer pour 22 fenêtres identiques en bois qui couteraient un montant que j'ai peur de calculer... 

A savoir également que notre maison n'est absolument pas visible depuis le monument protégé et ne choque en rien l'environnement immédiat, bien au contraire depuis le changement de fenêtres nous avons reçus beaucoup de compliments de riverain ravis que la maison ne soit plus laissée à l'abandon.

Bref désolé pour ce long message mais je suis un peu pris au dépourvu, nous voulons bien faire, dans la bienveillance et le respect d'une maison qui nous a plu, nous avons fait une erreur d'appréciation quand aux textes...

Merci par avance pour vos avis et vos anecdotes (j'imagine que j'aurais également mon lot de " nul n'est censé ignorer la loi" / "bien fait pour vous" etc)