Refus permis de construire de notre extension

Bonjour,

Nous avons déposé il y a un mois un permis de construire pour une extention de notre maison.
Le fait que cela soit une extension vient du fait que dans le PLU de notre ville il faut 4m de recul à toute nouvelle construction et que étant en ile de France avec un terrain relativement petit (300m²) réculer ma construction de 4m me fait perdre bcp d'espace sur mon terrain, ma maison étant en partie construite aujourd'hui avec 2m de recul.
Nous avions donc pris le parti de concerver le mur côté rue et le reste des murs qui sont à moins de 4m.
Il est prévu de détruire tout le reste.
Le permis nous est refusé au motif que notre construction n'est pas une extention mais on nouvelle construction. Dc on doit reculer de 4m.
Hors mon archi qui a construit de nombreuses extension a déjà eu bcp de permis de validé avec ce fonctionnement, en gardant seulement un mur ou 2.
Par ailleurs, la personne de l'urbanisme nous indique que pour que ce soit considéré comme une extension, il faut qu'on puisse vivre dans l'existant le temps des travaux.....
Pourriez-vous m'aider ? Y a t il des textes qui régissent la description d'une extension ? Ou bien sachant que ma nouvelle constrution respecterai le PLU sur la nouvelle partie et que celle le remplacement de l'existant serait aligné comme auj ?
Je vous remercie par avance
Bien cordialement
Mathilde