Projet rénovation et extension en zone N

Bonjour à tous , je suis nouveau sur ce forum et je souhaiterais vous faire part de mon projet de rénovation afin d'avoir si possible quelque conseils pour la préparation de mon permis de construire.

J'ai tout récemment acheté une maison des années 60 qui est située en zone naturelle. La maison est entièrement à rénover et je souhaite déposer un permis de construire afin de créer une petite extension, faire de nouvelles ouvertures, changer la charpente et toiture ainsi que les menuiseries, façades et refaire l'assainissement individuel.

Après plusieurs rdv avec l'urbanisme, la CAUE ainsi qu'avoir épluché le PLU dans ses moindres détails, je me pose la question de la meilleure façon de procéder pour ma demande de permis.

J'ai pu acheter la maison pour un prix relativement bas compte tenu de sa localisation car une partie n'est pas conforme en raison d'extensions qui ont été faites dans les années 80 sans DP. 
Je vous joint  un croquis pour illustrer 



D'après le PLU, j'ai le droit de construire une extension de 50% de la surface de la maison du coup l'urbanisme m'a dit que je pouvais créer une surface de 17 m2 et quelque au vu des 35 m2 de la maison. 
L'extension figurant en jaune sur le plan ci dessus est une chambre que l'ancien propriétaire avait construit bien que sa demande de travaux (DP) avait été refusée en 85, acceptée dans un premier temps puis refusée par je pense les batiment de france. 

L'urbanisme m'a dit que le motif du refus devait être que cette extension aggravait le recul par rapport à la limite séparative. En effet la disposition de la parcelle est assez atypique car très étroite. 

Mon projet est de régulariser un maximum la maison, je souhaite détruire la partie en rouge sur le schéma (partie cadastrée en bâtiment léger) mais qui est actuellement où je vis durant les travaux, pour faire reconstruire mon extension de 17m2 en venant me coller à la limite séparative (du haut), je dois m'implanter soit en limite soit à 4 m selon le PLU. 

Je souhaite par contre garder la chambre (en jaune) et la rénover, en me basant sur le fait qu'elle ai été construite il y a plus de 10 ans. Je ne vais donc pas en parler dans mon permis. Je ne peux pas non plus la régulariser puisque je n'ai le droit qu a 17 m2 et je ne pourrais faire mon extension. 

Je souhaite par ailleurs changer la vielle charpente qui est un monopan et faire un 2 pans classique

A vos yeux est ce que ce plan d'action vous parait judicieux? 
J'ai une autre dépendance cadastrée qui fait partie d'un bâtiment voisin, savez vous si ma demande d'extension peut se baser sur la surface cumulée des deux bâtiments où juste sur la maison que je rénove? 

Merci d'avance