Accolement entre mon allée extérieure et le mur privatif du voisin

Bonjour, 

Mon voisin, qui a construit quasiment en même temps que moi, sa maison est surélevée par rapport à mon terrain. (80cm)
Il a été contraint de faire un mur de soutènement tout autour de son terrain avec des blocs béton en L, qui est un mur privatif (je n'ai pas participé au financement) et il est en limite de propriété. 
Je suis moi même en train de faire mes extérieurs, notamment la cour devant mon garage et mon allée d'accès. Ces 2 parties sont accolées au mur de soutènement du voisin. 
Je souhaitais savoir si je pouvais appuyer mes pavés contre son mur. J'ai lu beaucoup de choses sur les forums et notamment sur le fait qu'on ne doit rien 'appuyer' sur un mur privatif. 
Mais il faut bien que mes pavés s'appuient sur quelque chose ? je dois laisser un espace, donc de la terre (c'est pas propre), si oui sur combien de centimètre. 
Ce son côté, il n'a pas hésité à faire dépasser le béton qui scelle les L chez moi, et sans me demander. 
Alors que lui est constamment en train de me dire que mes pavés ne doivent pas toucher son mur. 
De toutes manières, il y aura bien quelque chose qui touchera son mur, que ce soit de la terre, du sable, du remblais,  ou mes pavés, quelle est la différence ...

Merci d'avance pour vos éclaircissements. 

ps : j'ai beaucoup cherché sans trouver de réponse, j'ai même lu une partie du code civil (Annexe 7 sur les relations de voisinage, servitudes foncières et droits des tiers)