Démolition dans zone non aedificandi. A l'aide

Bonjour.
Nous avons acheté en 1999 une maison en 2éme position avec une zone non aedificandi sur le terrain séparant nos maisons. Terrain coupé par un mur de clôture.
Lors de l'achat de notre maison, comme celle-ci ne possède pas de sous-sol, le vendeur, pour m'être agréable et faciliter la vente a fait construire une petite cabane de jardin de 2,50 m2 de ma maison au mur de clôture. Cette cabane est sur dalle cimentée et avec un toit en tuile, le tout a environ 2,00 m de haut.
Le souci est que mon vendeur en 1999 a fait réaliser cette cabane entre la promesse de vente et la vente, si bien que le géométre a du passer avant la construction de la cabane qui ne figure donc pas sur le plan de servitude.
La maison voisine en 1ère position, a depuis été vendue 2 fois, la servitude non aedificandi transmise à chaque fois.
Mon voisin qui a acheté sa maison en 2019, procédurié, me menace de vouloir faire détruire par procès cette cabane.
Puis-je faire valoir qu'il a acheté son bien en connaissant l'existence de cette cabane en achetant sa maison et que celle-ci ne lui cause aucun dommage, pas même de vue car celle-ci est presque au niveau du mur de clôture (quelques cm au dessus)?
Le propriétaire précédent ne s'était pas plaint et les propriétaires d'avant non plus.
Nous sommes assez désemparé par cette situation. Devons-nous détruire cette cabane qui nous sert depuis 24 ans?
Merci par avance pour votre réponse.