Annexe en chambre bordure de terrain

Bonjour, 
J'écris ici car je suis inquiet et j'aimerai avoir des infos et/ou des idées. 
Ma compagne et moi même faisons construire une maison. La maison sera implanté en milieu de jardin, à 4mètre du chemin de notre voisine. 
Avec notre constructeur, nous avons évoqué notre projet futur d'agrandir la maison avec une chambre supplémentaire de 18m carré, collé au chemin de cette même voisine. 
L'agrandissement contiendrait une chambre, une salle de bain et 1 baie vitré direction notre jardin ( a l'opposé du chemin de la voisine donc). 
Notre propriété est soumise au PLU de la commune qui spécifie : 
"Les constructions doivent observé par rapport au fond voisin un recul au moins égal à la moitié de la hauteur à l’égout du toit sans pouvoir être inférieur à 4 mètres. Néanmoins, les annexes et dépendances inférieures à trois mètres au faîtage peuvent être implantées en limite séparative."

Sauf que les annexes correspondes à cette description : 1.1. Annexe
Une annexe est une construction secondaire, de dimensions réduites et inférieures à la construction principale, qui apporte un complément aux fonctionnalités de la construction principale. Elle doit être implantée selon un éloignement restreint entre les deux constructions afin de marquer un lien d’usage. Elle peut être accolée ou non à la construction principale avec qui elle entretient un lien fonctionnel, sans disposer d’accès direct depuis la construction principale.

Le permis de construire ne stipule pas cette futur chambre, nous voulions la faire nous même dans quelques années en faisant une déclaration de travaux. 

Est-on dans la légalité ? Si non, comment pouvons nous faire pour que ca passe quand même ? 

En vous remerciant

PS : En rouge un peu degeu c'est la "futur" chambre