Législation terrain zone constructible accolé à un terrain en zone agricole. Construction possible ?

Bonjour tout le monde,

J’ai auto construit une maison sur un terrain d’environ 1000m2 avec la particularité d’avoir 350m2 en zone constructible et le reste en zone agricole. 

L’orientation et la disposition du terrain fait que nous avions juste la place pour notre maison et sa terrasse. 

Ma compagne aimerait une piscine creusée. Jusqu’à maintenant je lui ai toujours répondu qu’on ne pouvait pas construire dans la zone agricole hormis un bâtiment sous terrain. 

Mais lors d’un dîner entre amis, une personne m’as dit que ses parents, qui ont un terrain avec les mêmes particularités que moi, ont pu construire leur piscine l’année dernière sur la zone agricole. Le service instructeur du permis  a accepté la demande de permis car la piscine était accolé au terrain constructible et dans le prolongement de la terrasse. 

J’ai épluché le PLU de la ville en question et je n’ai rien trouvé qui allait ou pas dans ce sens.  

Quelqu’un a déjà rencontré ce cas de figure ? Ou a connaissance d’un article du code de l’urbanisme pour m’aider ?

Merci d’avance pour votre aide

Vincent