Obligation de retrait de portail de 5m

Bonjour,
Je me permet d'exposer mon problème en espérant que certaines personnes s'y connaissent en droit et obligation en ce qui concerne l'obligation de retrait du portail par rapport au domaine public.
J'ai acheté un terrain sur lequel il n'y a aucune servitude. Je ne suis pas frappé d'alignement non plus.
Mon constructeur avait déposé mon permis de construire en dessinant mon entrée comme sur le schéma. Mais il a écrit sur le permis que mes murs feraient l'objet d'une DP ultérieure pour pas prendre le risque que le permis soit refusé.
J'étais allé demandé à la mairie qui m'avait annoncé qu'il n'y aurait aucun problème pour une entrée de ce type.
Je viens de déposer ma DP et on me la refusé.
Raison : je dois mettre un retrait de 5M entre mon portail et le domaine publique.
La mairie m'avait pourtant dit que je pouvais faire comme j'avais prévu car je faisais une place de stationnement à l'extérieur même si elle n'est pas devant le portail cela devait être bon. Je précise aussi que l'installerai un portail électrique.
Ils me parlent aussi d'un problème de visibilité et qu'il me faudrait un angle de vision dégagé de 45 degrés à gauche et à droite en étant situé à 3m de la route.
La mairie et la personne de la communauté de commune responsable de la voierie avait l'air de se contredire sur le retrait de 5m un coup ils ont même parlé de 3m ou 5m.
Je précise que dans mon PLU aucun retrait n'est imposé ni obligation de place de stationnement à l'extérieur de la propriété.
Enfin sachez que la voie devant mon propriété est à double sens mais qu'il n'y pas la place de passer à 2 voitures mais j'ai un courrier du maire qui me dit que je ne suis pas frappé d'alignement pour autant.
Merci d'avance

Je précise que mon portail est parallèle à l'entrée de mon garage