Accès au terrain placée différemment sur le plan (comment la conserver ?)

Bonjour à tous ! 

Après avoir parcouru le forum à la recherche d'une réponse à ma problématique, je me décide à poser directement la question à travers ce sujet...

Je viens d'acheter un terrain sur lequel je m'apprête à faire construire une maison. Ce terrain est déjà clôturé et comporte un accès via un portail présent depuis au moins 20 ans.
Pourtant, sur le plan qui m'a été remis à l'achat du terrain, l'entrée est indiquée à un tout autre endroit :


En vert l'entrée actuelle avec le portail existant, en rouge l'entrée prévue sur le plan.



Le constructeur, qui a fait les plans et a fait le dépôt de permis de construire a conservé l'accès indiqué sur le plan, en me disant que je pourrai conserver mon accès actuel mais que ce serait plus simple de ne rien changer au moment du dépôt de permis de construire afin qu'il soit accepté rapidement.

Mais aujourd'hui, après en avoir parlé autour de moi, on me dit qu'il va falloir me conformer au permis de construire et donc déplacer mon portail. Ce qui ne m'arrange pas car, comme on peut le voir sur l'image (tirée des plans fournis par le constructeur), je n'aurais plus de jardin en entrant à l'endroit prévu. Alors qu'en entrant par l'accès actuel et en se garant à droite de la maison, je conserve un petit jardin quand-même. Déjà que le terrain a une forme bizarre qui ne laisse pas beaucoup de jardin...

Donc voilà ma question : pensez-vous que je peux conserver mon entrée actuelle ? 
Ou plutôt : comment faire pour conserver mon portail à l'endroit où il se trouve ?

D'avance merci pour vos conseils