Voisin qui refuse d'enlever sa clotûre en mitoyenneté

Bonsoir,

Je vous explique mon petit problème de voisinage...
J'ai fait construire ma maison il y a 2 ans "au milieu" de mon terrain (aucun mur en limite de propriété). 
Aujourd'hui, je vais démarrer la construction de mon garage accolé à la maison qui lui sera sur la limite de propriété.
Une clôture en plaque de béton sépare mon terrain de celui de mon voisin. Je suis aller l'avertir l'autre jour que l'entreprise allait commencer les travaux d'ici un mois. L'idée était d'une part de l'informer, mais aussi de voir avec lui comment on s'organiser pour enlever une partie de ses plaques de béton (on le fait nous-même ou je laisse faire l'entreprise?).
A ma grande surprise, il ne veut pas enlever ses plaques, pour des raisons pas très claires. 
Le discussion est un peu partie dans tout les sens, il me reproche de mettre mon garage à cet endroit là, ce qui va "lui prendre de la lumière", qu'il a des vignes plantée au pied de la clôture chez lui et donc que va les abîmer etc...
Bref, le a vécu 20 ans avec un terrain vague (le mien) à côté de chez lui, il est amer depuis qu'on s'est installé... Pour continuer sur l'histoire de la lumière, il en a profité pour me dire que ma maison lui avait ajouter de l'ombre du côté de sa terrasse (ce qui est vrai).

Au final, alors que je l'informais juste, il commence à essayer de me faire mettre le garage de l'autre côté de ma maison.... on marche sur la tête. Il me joue aussi le jeu du "vous auriez pû nous demander avant, le minimum c'est d'en discuter avec son voisin pour s'assurer que çà ne gène pas" et blablabla.... Evidemment je ne changerais pas, tout est prévu comme çà, on a l'autorisation de travaux de la mairie donc on est en règle.

Par contre, pour la clôture je fais comment? je l'ai bien sûr averti que si on ne l'enlève pas, de toute façon elle va tomber au premier coup de tracto...