Extension - Modification de permis de construire si changement ?

Bonjour à tous, 

Je suis nouveau sur le forum et peut-être la réponse à ma question est déjà dans les autres échanges mais je n'ai pas trouvé...
Nous nous lançons dans une extension de notre maison. Elle fait plus de 40 m2, nous avons donc du faire une demande de permis de construire qui a été accepté. 
Mais voilà, mon épouse a souhaité ajouter une porte sur cette extension (ce qui s'avère être une bonne idée) mais cette bonne idée n'est pas sur les plans déposés. 
Cette porte, n'est visible que de notre jardin et ne gênera pas du tout nos voisins...
On me dit qu'il faut que je fasse une modification sur le permis de construire mais je vous avoue que la paperasse que cela représente me décourage. 
Me conseillez-vous de faire cette modification ?
Quelqu'un a-t-il fait des changements sur un permis sans le mentionné et ça s'est bien fini lors de la réception de chantier ??
Merci d'avance de vos lumières et expériences