Servitude de passage et compromis de vente

bonjour,
voilà encore un soucis au niveau d'une servitude, mais en parcourant le forum , je n'ai pas trouvé de réponses , c'est pourquoi je me permets de poster .

Je vais essayer de présenter la situation.
En octobre , nous trouvons enfin le terrain de nos rêves (diffus) , direction le notaire pour signer un compromis de vente.
Ce terrain est une parcelle constructible au milieu d'un grand terrain actuellement en location à un fermier. En décembre, il signe un contrat de renoncement à cette parcelle, moyennement paiement (le chapeau, si j'ai bien suivi)il ne touchera l'argent qu'une fois la vente faite.
Il a demandé une servitude de 5 m, pour le passage de ses engins agricoles (des vaches pour l'instant). Le geomètre est passé et a borné le terrain avant la signature du compromis.

En janvier, dépot du permis de construire, nous sommes dans un parc regional donc on en prend pour 3 mois et demi!
Le permis est accepté depuis le 11 mai et la, surprise, le fermier ne veut plus de l'arrangement, il s'avère que la distance de sa servitude ne fait pas 5 m effectif puisqu'il y a une rangée d'arbres à 50 cm sur cette servitude.
Ces arbres appartiennent à la propriétaire du terrain qui lui donne l'autorisation de les couper. Tout va bien sauf qu'à côté de cette servitude, il y a un passage de 4 m privé, qui a débordé sur la servitude ( elle s'est servie des arbres plantés comme limite séparative) donc notre fermier dit que s'il coupe les arbres, il doit remettre une cloture au meme endroit ce qui ne lui donnera pas plus d'espace ( les arbres ont plus de 30 ans...)
Il nous réclame donc 1m de facade!
le notaire ne comprend pas pourquoi il fait autant d'histoires, il a envoyé un médiateur! mais on risque de devoir donner une partie de notre terrain!

Existe-il un recours pour nous, le compromis de vente a été signé, je pensais qu'on ne pouvait plus revenir sur les accords?
Si il exige 1 m,à quelle indemnisation pouvons nous prétendre?
Je ne sais pas où m'adresser le notaire ne répond pas vraiment à nos interrogations ...
Bref, on se pose beaucoup de questions, surtout que nous devions signer la semaine prochaine!!!

En tout cas j'espère avoir été claire et merci d'avoir lu jusqu'au bout!!!!