Problème bornage et voisin

Bonsoir à tous,

Ma femme et moi avons signé un compromis de vente pour un terrain à bâtir sur la commune de Buvignies, dans le 59. Sur ce terrain, il y a une grange qu'on abattra pour la construction de notre maison. Un mur de cette grange est sur une des limites séparatives. Dans ce compromis est stipulé que ce terrain a fait l'objet d'un bornage. Il faut noter que c'est un terrain qui ne fait pas partie d'un lotissement.
Le problème est qu'il manque une borne sur ce terrain. Renseignement pris chez le géomètre, on nous indique que le voisin dont le terrain est contigu au notre m'a pas donné son accord pour la pose de cette borne. Nous sommes allés donc voir le voisin, qui ne signera pas l'abornement tant que le vendeur maintient que le mur n'est pas mitoyen.
Nous voici donc en face d'un problème qui nous hante les nuits. Le notaire n'est pour l'instant pas joignable, congés annuels alors on a le temps pour se faire du souci!
Peut-on acheter ce terrain alors qu'il manque une borne? Si on avait possibilité de l'acheter sans la dernière borne, quelle peuvent être les conséquences par la suite?
Quelle est la personne compétente capable de dépatouiller cette affaire de mitoyenneté?
Merci d'avance de vos réponses et pour vos idées!

Michaël