Mur de cloture

Bonjour,
Nous habitons en campagne et suite à la construction de notre maison il y a presque 20 ans nous avions construit sur un des 4 côtés un mur de cloture, sur le mur existant en pierre sèche et à environ 50 cm à l'intérieur du bornage de notre terrain. Donc ce mur est entièrement chez nous et à nous, de plus il y a encore 50 cm qui est à nous de l'autre côté de la cloture.
Dernièrement mon voisin,qui a un très grand terrain agricole avec maison et dépendances a obtenu un permis de construire pour construire une autre maison sur son terrain et de ce fait a tracé un passage pour accéder à cette maison. Ce passage longe notre mur et se trouve juste en contrebas de notre propriété. Il a tiré un cordeau entre les 2 bornes de délimitation et a nettoyé de son côté jusqu'au ras de notre propriété,( notre mur étant à l'intérieur). De ce fait notre mur a été fragilisé car il a décaissé son chemin et a donc augmenté la hauteur de notre mur.... Il nous demande de voir ensemble pour refaire ce mur du moins le consolider ? alors que notre mur est chez nous ? Nous n'avons pas les moyens de refaire un mur qui nous appartient... (43 mètres de long sur une hauteur de maintenant 1m80 minimum).
Je voulais savoir s'il est possible de lui dire de construire son propre mur chez lui en lui cédant nos 50 cm qui nous appartiennent et qui se trouvent à l'extérieur de notre mur de clôture. En conclusion qu'il fasse son mur et qu'il laisse le notre comme il est ? devons nous faire un acte notarié pour celà ?
Merci pour vos réponses et votre aide