Problème modification servitude de passage

Bonjour,

Voilà j'ai un soucis (parmi tant d'autres avec mon futur terrain et SURTOUT l'agence immobilière).
Pour résumer la situation, nous sommes en train d'acheter un terrain valant division avec ma compagne.
Le terrain est configuré comme suivant :

Une maison avec terrain en bordure de route et derriere celle ci le terrain valant division, nous achetons une des deux parcelles et notre futur voisin celle du fond.
Ces terrains sont desservis par un chemin d'accès pour les 3 acheteurs (celui de la maison, moi et mon futur voisin.
Lors de la signature du compromis de vente chez le notaire il y a un mois, le plan a été établi de sorte à ce que l'acheteur de la maison en bordure de route puisse emprunter le chemin d'accès jusqu'à environ 5 mètres derrière chez lui, nous avons tous signé (propriétaire du terrain, moi et notre futur voisin).
Hors aujourd'hui l'agent immo m'appelle et me dit que le plan a été modifié et qu'à présent le voisin peut emprunter le chemin de servitude jusqu'au fond de son terrain! soit 15/20 mètres de plus sur le plan que nous avons signé!.
Pour info ce même voisin refuse de participer à l'encailloutage du chemin pour sa partie.
Je voulais savoir si ils ont le droit de faire ca sachant que lorsque j'ai dit à l'agent immo que l'on était pas d'accord il me rétorquai que le terrain n'était pas à nous encore (alors qu'on a signé le compromis de vente) et qu'il était encore au propriétaire!
Vrai? Faux?
On a commencé à faire des frais (MOE, Notaire), demain on a rendez vous avec le notaire mais sachant qu'ils sont tous acoquinés (agents immo, notaire et propriétaire) je voulais avoir des conseils et des retours d’expériences.

Ps : je ne compte pas faire de concessions concernant ce chemin d'acces car depuis le début l'agence immo nous prends pour des c....

Merci par avance!