Portail retrait 5 mètres « techniquement impossible »

Bonjour à tous si quelqu'un pouvait m'apporter son aide j en serai heureuse car ie ne trouve aucune solution à mon problème.
Nous avons acheté une maison à un particulier sans clôture édifiée et placée sur un chemin privé nous avons bêtement fais confiance et nous nous sommes basés sur ce le propriétaire nous avait dit concernant I aménagement possible d une clôture avec ses plans à lui à l appui sans consulter le PLU avant. Mon problème est le suivant le Plu nous impose un retrait du portail à 5 m ( mais pas pour la clôture qui peut être montée à limite de propriété le problème étant qu en faisant cela j arrive quasi sur le porche d entrée donc plus d intérêt d un portail et qui plus est je n ai pas les 5 mètres avec l alignement du garage, en fait techniquement je ne peux pas placer le portail sauf si vous avez une autre idée. 
En plus de cela je dois obligatoirement laisser 2 places du midi que nous avons pensé à mettre en face du garage je vous joins le plan en pj avec les mesures, le portail qui est ainsi placé  a été refusé bien évidemment actuellement le terrain est vierge de toute clôture . J ai des enfants en bas âge ma priorité est de sécuriser. Au pire je clôturerais le tout donc plus d accès véhicule à l intérieur mais je condamne aussi mon garage et accès à tous véhicule de construction (projet piscine).  j ai vraiment | impression de m avoir fait bernée. Bref je sui vraiment découragée aidez moi svp. Merci