Servitude de passage comment ça se passe pour les travaux

Bonjour,

nous avons acheter un terrain avec une servitude de passage celle ci se situe sur le lot A au profit du lot B ( c'est à dire nous).
Au jour d'aujourd'hui, notre constructeur n'a toujours pas coulé les fondations ils sont en retards pour la simple est bonne raison qu'ils doivent casser un pilier afin d'accéder avec les toupies.
Notre constructeur s'est entretenu avec lui, propose de le dédommager mais refuse toujours !

Ce droit de passage est large de 3,19m et le constructeur a besoin de 3,60 pour passer.

Le droit de passage figure sur le plan de divison. Toutes les informations concernant celui ci figure sur l'acte de vente.
Le propriétaire du terrain du lot A nous indique que cette servitude lui appartient, après un entretien téléphonique avec l'agence qui nous a vendu le terrain, le commercial nous donne raison.

La seule possibilité que le propriétaire nous donne afin de poursuivre les travaux et que l'on rachète la servitude mais je crois que ce n'est pas possible il n'a pas le droit ou alors qu'on lui donne un bout de notre terrain mais ça aussi ce n'est pas possible ça doit être illégale car nous avons signé chez le notaire pour un terrain de 374m2.

Si l'on pouvait avoir des renseignements car on est totalement perdu.

Merci pour votre aide