Mon archi me conseil le non respect du permis de construire

Bonjour,
Nous avons acheté un ancien bâtiment frappé d’alignement par le département. Nous avons proposé dans le permis de construire de détruire partiellement ce bâtiment pour l’agrandir. Ce permis a été validé par la mairie mais à la suite de retour de devis nous nous sommes aperçus qu’au vu de la vétusté des murs il était beaucoup moins coûteux et plus sur de le détruire entièrement et de repartir des fondations existantes avec du neuf. Cela ne changerait donc pas le visuel validé par la mairie mais juste les matériaux constituant l’ossature de la maison. Mon architecte me conseille de ne pas en parler car cela ne se verrait pas une fois la maison terminée. Je crains tout de même de voir le chantier interrompu si une personne de la mairie s’aperçoit que nous démolissons la totalité du bâtiment et non une seule partie comme initialement prévu au permis construire. Qu’en pensez-vous ?