Problème avec le mur de cloture du voisin

Bonjour à tous, je construis sur un terrain délimité à l'arrière par un mur en "pierre sèche".
Le problème est que je construis en limite de propriété contre ce mur. Par courtoisie ce matin je suis allé voir le propriétaire du mur afin de lui présenter mon projet et pour voir avec lui comment l'on pouvait faire pour qu'il ait le moins de désagrément possible au niveau de son mur.
Le soucis c'est que le voisin voit d'un mauvais œil la construction de maisons devant chez lui et voudrait que j'implante à 3m de la limite, sur 500m2 ce n'est pas facile de ne pas être en limite. Alors il trouve comme excuse qu'il ne faut pas toucher à son mur, il me dit qu'il va faire venir un huissier pour constater l'état de son mur avant travaux.
J'aimerais savoir si c'est possible de pouvoir faire mes fondations sans risquer de dégrader son mur, et également quels sont mes droits et obligations par rapport à ce mur.
Il me dit que si je fais tomber son mur, je doit je le refaire sur toute la longueur ?!? Je sais qu'il est de mauvaise foi, car son voisin ( le vendeur du terrain) m' a dit que, à un moment donné il voulait vendre les pierres de son mur.
Donc super, je n'ai pas encore commencé les travaux que déjà mon voisin vient me chercher des noises, ce qui m'exaspère c'est cette mauvaise foi.