Autorisation construction clôture

Bonjour,

Ayant fait construire en 2018 une maison sur un terrain déjà clôturé (panneaux béton) sur 3 côtés, je décide de clôturer le dernier côté en panneaux composite. Je réalise donc ma demande d'autorisation de construction que je dépose (dossier complet et accepté) le 23 Mai 2019 en Mairie (tampon daté du 23 mai). 

Le 15 Juillet 2019 sans aucune réponse de la mairie, je décide d'aller simplement acheter ma clôture (d'un montant de 2500 euros) me fiant à la phrase en gras sur le cerfat en question ("en absence de réponse dans un délais d'un mois, un accord tacite vous autorise donc à commencer vos travaux ..."). J'ai pensé bêtement que sans réponse c'était simplement accepté sans nécessairement avoir besoin d' appeler la mairie pour confirmer.

Le We du 20 juillet 2019 je décide donc de monter ma clôture. Entre temps mon voisin croise l'adjoint au Maire de ma commune qui lui dit oralement : "au fait j'ai votre demande de construction de clôture qui a été refusée pour cause de non conformité avec le PLU ....". Le voisin me transmet l'information et le document. La décision de refus était daté du 13 Juillet 2019 (l'ayant déposé le 23 mai 2019 donc largement plus d' un moi d'instruction). L'adjoint au maire m'avouant après coup avoir pris du retard pour envoyer le document en préfecture sans me prévenir.

Bien remonté je me rends en mairie en disant que l'instruction a largement dépassée les 1 mois et que je n'ai ni été informé du retard d'instruction, ni été informer de la décision finale par courrier recommandé mais simplement oralement par mon voisin. Ayant respecté le délais d'attente d'un mois j'ai donc été acheter ma clôture. L'adjoint au maire me réponds qu'il a fait plusieurs erreurs mais bon que c'était à moi d'appeler pour me renseigner avant d'acheter.

Au vu des multiples manquement j'ai donc décidé de construire ma clôture car impossible de se la faire rembourser. L'adjoint au maire me disant qu'il allait  quand même faire une demande d'autorisation exceptionnelle mais depuis plus d'un mois toujours aucunes nouvelles.

Je vous sollicite donc afin de savoir si tous simplement je risque de me faire détruire ma clôture suite à une plainte d'un voisin par exemple ? Ou est-ce que je suis dans mon bon droit au vu des multiples incohérences du dossier (délais d'instruction supérieur à 1 mois, document non reçu en courrier recommandé ou même par simple courrier, etc.).

Merci pour vos réponses