Clôture construite sans accord et voisin veux me faire payer la moitié

Bonjour,

Je regarde dans l'ombre depuis longtemps le forum, et me voilà confronté à une situation, ou j'espère que certains d'entre vous pourront me donner leur avis.

Voici la situation :
- J'ai construit une maison dans un lotissement
- Pendant la construction (nous en étions au vide technique), le voisin qui habitait déjà dans sa maison, construite avant la notre, a construit un mur de clôture sur son terrain (en limite de propriété), sans nous consulter et sans rien nous demander (nous avons eu la surprise de voir les tranchées un soir ou nous passions voir l'avancée de notre construction).

Le mur a été construit par lui et une de ses connaissances qu'il a payé en espèce (ça se voit que ce n'a pas été fait par un pro..., et une petite partie des fondations dépasse à certains endroits sur notre terrain)

Nous allons bientôt aménager, et lors d'une visite de chantier, il est venu nous voir et nous a demandé de payer 50% des matériaux et de la main d'œuvre qu'il a payé.

Comme nous lui avons dit :
- Le mur était sur son terrain, il lui appartient
- Nous n'avons pas été consulté et nous n'aurions pas forcément faire un mur en dur, une clôture rigide avec éventuellement un soubassement étant plutôt dans nos projets.

Il m'a dit :
- "Oui mais tous les voisins font généralement le mur chez eux, comme ça l'alignement avec la maison est mieux, et ensuite ils s'arrangent et les voisins payent la moitié" => ça n'a jamais été le cas dans mes anciens quartiers, je n'ai jamais vu quelqu'un imposer ses choix aux autres sans consultation
- "Vous auriez pu venir nous voir pour le mur" => ce n'est pas nous qui avons fait un mur sans en parler à personne , nan mais quel culot !
- On peut vous faire un papier comme quoi le mur vous appartient et que vous avez participé au financement => pour moi, ça ne vaut rien, vu que le mur est sur leur terrain

Pour une bonne entente de voisinage, nous avons accepté oralement de payer 50% des matériaux / main d'oeuvre payée (mais ils ne nous font pas payer le temps que eux ont passé a construire le mur, et encore heureux !)

Ne souhaitant pas laisser le mur en parpaing visible (de toute façon c'est interdit par le PLU), nous avons fait appel à un pro pour faire enduire le mur de notre côté + sur le dessus avec accord oral du voisin (le voisin a échangé avec ce même pro pour faire l'enduit, ça devait être fait aussi de son côté, et au final, ça semble reporté pour l'instant)

Nous avons payé l'ensemble au pro pour l'enduit, notre côté + le dessus.

Nous souhaitons diviser par 2 le montant de l'enduit fait sur le dessus du muret (il y a quand même toutes les baguettes d'angle, une bonne longueur d'enduit et beaucoup de temps passé vu que le mur n'était pas vraiment droit... donc ça fait quelques centaines d'euros), et le déduire de ce que nous allons payer aux voisin pour le mur. => en effet, nous trouvons logique de payer 50% du mur + notre partie pour l'enduit.

Après avoir prévenu le voisin du montant que nous allions déduire, il semble mal réagir et sort des arguments type :
- C'est pas cher ce qu'on vous demande pour le mur
- On vous fait pas payer la main d'œuvre (bah si, celle qu'ils ont payé nous avons pris 50%)

Je pense être droit dans mes bottes, et être plutôt conciliant étant donné qu'on m'a imposé ce mur, sans me consulter, et qu'il ne m'appartient pas.

Cette histoire me travaille un peu, donc j'aimerais bien quelques avis sur la question. Savoir comment vous auriez agit.

Merci