Palis ardoises en retrait mur de clôture

Bonjour, nous avons obtenu une autorisation pour réaliser une clôture faite d'un muret en limite séparative d'une hauteur de 0,80 maximum. Ce muret a été réalisé sur une hauteur de 0,10 (haut du terrain)à,0,80 (bas du terrain.
Nous réalisons un aménagement paysager en léger retrait de ce muret, et sur une partie seulement, avec des palis, des piquets d'ardoises et de bois, d'une hauteur de 1,40 à 1,70.
Notre voisin considère cet aménagement comme faisant partie intégrante de la clôture et nous fait remarquer que notre réalisation n'est pas conforme à l'autorisation obtenue. Pour nous, cela ne fait pas partie de la clôture car en retrait de la limite et c'est notre muret qui constitue notre clôture. Mais a t-on raison ?