Validité permis construire, permis de démolir

Marre des paperasses . Je veux démolir une partie de mon mur de cloture en bord de route qui n'a jamais été terminé. Pour ce mur, nous avions déposé un PC et jamais déclaré la fin de travaux (et pour cause). En mai, j'ai obtenu un CU+ pour la parcelle devant ce mur avec création d'une nouvelle entrée de 4m. Visite à la mairie pour savoir 'si je devais prévenir quelqu'un' pour ouvrir ce mur, la mairie m'a conseillé d'appeler la DDE, là, on m'a dit que le mieux, c'était de demander un permis de démolir (pour un mur qui n'existe pas chez eux).
Depuis, j'ai lu qu'un PC a une durée de validité et que si on arrête les travaux trop longtemps, le PC n'est plus valable.
Je viens de recevoir l'enregistrement de ma demande qui m'informe qu'il y a un délai de 4 mois et passage par l'ABF pour avoir l'autorisation. Peut-il refuser ? Dans ce cas, c'est moi qui me retrouverais en fond de parcelle en terrain enclavé
J'aurais du casser sans rien demander ? c'est trop tard ?
Tant que j'y suis, je continue :
Lorsque j'ai appelé la DDE, je lui ai aussi dit que je souhaitais fermer mon garage actuel et mettre une fenêtre à la place de la porte2 battants (plein nord bien sur un vrai gouffre à courants d'air) , elle m'a dit qu'un permis de travaux suffisait. Ce que j'ai fait. Aujourd'hui aussi, j'ai la réponse : 'madame... vous changez la destination d'un garage, il faut déposer un PC et non une demande de travaux

Je ne peux même pas aller les voir pour me défouler, j'ai rendez-vous avec l'archi (obligée 'cause SHON>170m² maintenant je le sais) pour déposer le PC pour le nouveau garage 90 m² avec contraintes ABF et je voudrais le faire avant les grands froids
Voila, vous savez tout, c'est un peu long mais j'en ai marre marre marre