Erreur bornage géomètre

Bonjour,
mon mari et moi devions signé l'achat de notre terrain chez le notaire mais hier nous avons reçu les résultats du bornage du terrain pour l'implantation de notre future maison et le poteau en béton du voisin (pour son portail) est sur notre terrain et même dans notre maison. Le notaire nous a dit que le voisin devait le retirer mais nous lui avons répondu que le poteau était là depuis longtemps. En fait le terrain appartenait à notre voisin, la mairie a racheté en 2012 une partie du terrain et la divisé en plusieurs lots et le poteau du voisin existait donc déjà avant la division. Quand nous avons choisi le terrain, il manquait justement une borne au niveau de ce poteau. Le voisin ne veut pas retirer son poteau et je le comprends. Nous nous voulons bien déplacer un peu la maison mais le problème reste le même : le poteau du voisin sera toujours sur notre terrain. Du coup le notaire a refusé de nous faire signer l'acte de vente tant que le problème ne sera pas résolu. Nous avons RDV avec le maire ce lundi mais que faire ? La maison devait commencer la semaine prochaine. Les fonds ont été débloqués par la banque et nous allons commencé à payer des intérêts intercalaires. Je précise que l'agence qui a réalisé le bornage des terrains pour la séparation des lots est la même qui a fait l'implantation de la maison. De plus l'ancien maire était au courant et le géomètre aurait du prendre l'arrière du poteau et non l'inclure dans le terrain lors du 1er PV de bornage.
merci de votre aide.