Mur de clôture avec un recul de 4m du portail dans ma propriété

Bonjour 
Je suis à la recherche d’un renseignement suite au passage de la mairie venue vérifier mon mur de clôture en construction (le mur est monté, reste le crépi et le rehaussement du seuil du portail à faire). Et problème, ils considèrent une partie de mon mur trop haute. Je m’explique, le mur est en limite de propriété (mur nous séparant de la rue) hauteur 1,80m à partir du trottoir sauf au niveau du portail qui est en recul de 4m à l’intérieur de ma propriété. Mon terrain est plus bas que le niveau de la rue. De ce fait, le mur au niveau du portail fait (fera car on doit remblayer le terrain pour faire une pente plus douce) 2m et nous avons commandé un portail de 2m. Cette hauteur de 2m était bien mentionnée dans ma déclaration préalable de travaux. J’ai reçu un arrêté favorable (satisfaite à l’époque, je n’ai pas regardé en détail cet arrêté). Or après cette visite impromptue de la mairie, je vois effectivement un article 2 qui précise que le mur devra faire 1.80 m, ainsi que le portail (ils mettent également portail en pvc alors que la demande précisée aluminium….). Donc mes questions sont : ont ils le droit de considérer la partie du mur à l’intérieur de ma propriété (sans être en limitation d’un voisin) trop haute alors que visuellement, tout est droit à hauteur de 1.80m par rapport au niveau du trottoir ? N’auraient ils pas dû me refuser ma déclaration préalable de travaux directement ? Quels sont mes recours possible ? Merci beaucoup pour vos réponses 
PS: j’ai également des piliers légèrement plus haut que le mur à chaque bout du mur et au niveau du portail, trop haut aussi, ils devraient être à 1.80 m, ce sera moche mais bon….