Un portillon dans la clôture avec le voisin...

Bonjour, Me voici devant une grosse interrogation... 
Commençons par le début : quand nous avons acheté le terrain ou nous avons construit notre maison, il existait une bande de terrain entre notre voisin de gauche et nous de 4 m de large et de 100 m de long. Cette parcelle longe donc notre terrain sur la gauche, et longe aussi le terrain du voisin devant notre propriété jusqu'à la rue.Ce terrain appartenait à un propriétaire qui souhaitait vendre au tarif du terrain constructible, ne trouvant pas d'acquéreur le terrain restait en friche et non entretenu. 
Lorsque nous avons clôturé nous avons posé un portillon pour accéder à cette bande de terrain .Nous y avons entreposé du bois coupé des arbres qui étaient sur le terrain à l'origine. Je précise que nous sommes en bons termes avec le voisin. 
Dernièrement le voisin devant nous (nous sommes un terrain de second rang) a fait l'acquisition de la bande de terrain dont nous parlons. 
Aussitôt, il a créé un accés en enlevant partiellement sa clôture et sa haie. 
Je précise là qu'avec ce voisin nous ne sommes pas en bons termes car nous avons un contentieux avec lui qui date de la construction de la maison.
Ce voisin nous demande bien entendu d'oter le bois qui est au fond de la parcelle. et nous demande aussi d'enlever portillon... 
Voila... que faire ? sommes nous obligés de démonter le portillon ? même si on lui donne les clefs ? 
Merci de vos avis  !