Zone patrimoine remarquable - Possibilité de déclassement ?

Bonjour,

Je viens vous demander des renseignements et si possible votre aide pour un problème d'un refus de vente à des promoteurs du à un bâtiment en zone protégée (zone patrimoniale remarquable).

Voici le résumé de ma situation :

Je suis actuellement dans une copropriété (3 copropriétaires), et nous avons subit il y a de ça maintenant 2 ans (Octobre 2019), un arrêté de péril causé par la construction d'un immeuble voisin. Notre propriété a subit un dommage au niveau du plancher du premier étage, ainsi que des fissures sur le bâtiment, qui a causé l'affaissement de celui-ci entrainant un danger pour l'immeuble.
Je vous passe les détails et les galères qui s'en sont suivi, mais depuis nous sommes en procès contre ce promoteur, mais nous avons beaucoup de mal à suivre, car les frais d'avocats, d'expertises, de travaux (de réparation pour pouvoir de nouveau habiter dedans), les huissiers... Les frais sont très importants. Les sommes sont trop énormes pour que l'on puisse poursuivre et nous cherchons des solutions pour pouvoir nous en sortir.
Depuis, d'autres problèmes sont venu s'ajouter au fil du temps, nouvelles fissures, infiltration d'eau dans les caves etc... et nous nous en sortons plus pour palier à tous ces problèmes.

Nous avons été approché par de nombreux promoteurs pour acquérir notre immeuble. Ce qui s'avère une bonne solution pour nous et les 2 autres copropriétaires, car cela pourrait nous permettre de vendre et de pouvoir passer à autre chose (également couvrir un peu nos dettes actuelles).
Cependant nous avons été confronté à un problème, c'est que notre bâtiment est dans une zone de patrimoine remarquable, et donc ne peut être détruit.
D'ailleurs aucun copropriétaire était au courant de cela car rien n'est mentionné dans nos actes de vente.
Aujourd'hui tout se construit autour de nous, les bâtiments poussent de partout (même collé au notre), mais nous, nous ne pouvons pas vendre à un promoteur du à cette restriction.
Nous avons fait des demandes d'aide, pour nous aider à restaurer notre bâtiment au architectes des bâtiments de France, mais toutes refusées car le bâtiment n'est pas protégé en soit, c'est seulement qu'il fait parti d'une zone. On nous demande de pas détruire notre immeuble, mais personne ne nous aide pour le garder intact.

Voici donc ma question, y a-t-il la possibilité de déclasser ou de contester la protection d'un bâtiment ?
A qui faut-il s'adresser pour ce genre de demande ? Quelle sont les solutions ?

Merci pour votre aide,
bonne journée à vous