Convention sous seing privé et servitude de passage

Bonjour
Il y a deux ans nous avons acheté une propriété. Nous rentrons dans notre propriété (terrain clôturé) par un chemin (qui nous appartient). Ce chemin continue le long de notre clôture pour rejoindre la parcelle derrière chez nous (je précise bien que le chemin est en dehors de notre clôture mais qu'il nous appartient). J'informe que les boîtes aux lettres (la notre et celle de notre voisin) sont au début de notre chemin.
Lorsque nous avons acheté, le notaire nous a parlé de ce chemin qu'utilisait le voisin pour rentrer chez lui mais il n'avait pas retrouvé d'acte notarié et rien n'est inscrit à la conservation des hypothèques. Donc rien n'a été spécifié sur notre acte de propriété.
Je précise que depuis plusieurs années maintenant, notre voisin s'est créé une entrée de l'autre côté (beaucoup plus proche de sa maison 5 mètres contre 100 m de notre côté) qu'il utilise également au gré de ses envies (entrée avec seuil et piliers).
En arrivant, nous sommes allés lui parler de ce chemin et il nous a fournit des conventions sous seing privé signées avec l'ancien propriétaire de notre maison (une datant de 1990 servitude pour réalisation de travaux pour sa maison avec raccordement # Fournisseur en énergie #, eau...et une entrée commune par ce chemin et une autre datant de 2002 où est rappelé la précédente convention et où est marquée une servitude pour raccordement pour les 2 parcelles qu'il a vendues par la suite à côté de chez lui).
Maintenant il a déposé une demande d'urbanisme pour une nouvelle parcelle (entre nous) enclavé qu'il veut désenclaver par notre chemin en passant d'abord par son terrain (sur 1 m) au lieu de faire la désenclaver totalement par son côté.
Nous lui avons envoyé un courrier avec AR lui expliquant que les conventions ne nous sont pas opposables (nous sommes des tiers) et que nous avons décidé de fermer le passage d'ici 15 jours.
Pensez-vous que nous sommes réellement dans notre droit ? et sur le fait que nous avons attendu 2 ans pour réagir (ne voulant pas se fâcher avec lui dès le départ)?
Je précise juste que quand il a construit sa maison en 1990, c'est la mairie à priori qui ne voulait pas qu'il sorte sur le chemin qui longe sa maison (ce qui n'est plus le cas maintenant car plusieurs maisons plus récentes y ont leur sortie).
Merci d'avance pour vos réponses