Construction agrandissement en limite de propriété mais poteau voisin sur notre parcelle

Bonjour à toutes et tous,
Nous souhaitons faire construire un agrandissement sur notre terrain en limite de propriété.
Nous avons fait venir un géomètre expert (à notre charge) pour déterminer celle-ci afin de ne flouer personne, de sécuriser les artisans et de se protéger contre un éventuel recours quand la construction sera faite.
D'après ses conclusions rédigées dans le PV de bornage et/ou de reconnaissance de limites, la clôture est privative et rattachée à notre parcelle. De notre côté nous avions peu de doutes sur cette conclusion compte tenu de la façon dont elle est construite (alignement à l'intérieur de notre poteau d'angle en façade)
C'est ici que les problèmes commencent car, suivant cela, notre voisin à un poteau de portail qui empiète de 4cm sur notre parcelle puisqu'il a été monté dans le "renfoncement" entre le flan du poteau et la planche béton en bas de clôture.


Nous sommes donc peinés car notre agrandissement doit venir en limite de propriété au niveau de ce poteau.
Voici les questions que nous nous posons :

- Le document du géomètre n'a pas encore été signé par le voisin. Nous pensons donc qu'il a tout intérêt à ne pas le signe que compte tenu du fait que son poteau semble sur notre propriété et que cela reviendrait à "l'officialiser". Qu'en pensez-vous ?

- Nous pensions que raboter ce poteau de 4cm sur la hauteur au lapidaire était une solution mais le voisin semble réticent à cette idée car il a peur que sa solidité ne soit plus la même.
Nous avons sollicité de maçon qui doit effectuer notre agrandissement pour avoir son avis mais nous pensons que ces travaux doivent être fait par le voisin quitte à lui payer la facture (nous sommes sympas tout de même 😊). Pensez-vous que cela soit faisable ?

- Nous n'avons aucun souci à construire en retrait de 4 cm si cela arrange tout le monde (l'enjeu n'est vraiment pas de conserver coute que coute ces 4 cm) mais il semble que nous ne puissions pas. C'est soit en limite de propriété soit à 3m. Est-ce bien cela ?

- Nous avons même songé à lui proposer de passer la clôture en mitoyenneté afin de ne plus être ennuyé avec ce poteau. Nous craignons cependant qu'il puisse nous reprocher beaucoup de chose lors du chantier lorsque nous allons y toucher (alors qu'elle nous appartenait) car elle sera à supprimer sur la longueur de notre construction. Nous aurions, nous l'imaginons, l'obligation de lui demander son accord pour la supprimer…

Nous n'avons évidemment aucune volonté d'aller au litige et souhaiterions régler cela à l'amiable d'autant que nous nous entendons plutôt bien avec le voisin jusque-là. Nous avons peur d'être cependant obligé de régler ce problème pour pouvoir faire un agrandissement conforme… Nous ne sommes évidemment pas plus attachés que cela aux 4cm.
Cependant, certains mots prononcés par notre voisin nous font penser que tout cela peut vite se tendre (huissier,…) et nous avons maintenant un peu peur de faire des erreurs même sur un éventuel rabotage de poteau. J'entends par là que nous serions prêts à étudier la possibilité de le financer (suivant le montant évidemment) mais nous ne voulons pas assumer d'éventuels problèmes par la suite. C'est pour cela que nous imaginons que cette partie doit être faite en son nom.
Bref, nous sommes perdus et cela remet en cause la totalité de notre projet…
Nous espérons avoir été le plus clair possible et nous attendons vos commentaires.
Bonne journée.