3m70 au lieu de 4m de la limite de propriété

Bonjour,
Je n'ai pas trouvé de cas similaire, donc je me lance. Nous avons presque fini notre chalet et en essayent de voir si du côté de notre voisin nous avons dépassé la limite légale de 4m mentionnée dans le POS de la commune, nous découvrons qu'en faite nous sommes pas à la distance légale de l'autre côté où nous avons comme voisin la commune (terrain non-constructible car les réseaux passent et il fait seulement 10-15m²). Ma question, sachant que le POS de la commune indique clairement minimum 4m de la limite de propriété, s'il s'agit d'un terrain qui ne sera jamais constructible si la distance peut être en dessous de 4m? On en êtes arrivés là car nous avons essayé de s'éloigner le plus de notre voisin (maison construite depuis une vingtaine d'années). En faite sa maison est en bordure de sa propriété, donc elle n'est pas bien placé par rapport au plan cadastral et au POS de la commune, mais comme l'ancien propriétaire de la maison est aussi l'ancien propriétaire de notre terrain je pense que c'est compréhensible. Je ne sais pas si au moment de la construction de la maison du voisin le POS de la commune était bien en vigueur mais certes est que si on regarde le plan cadastral la limite est à minimum 3m voir plus, et pas en bordure.
Je ne sais pas si vous avez bien compris, je l'espère.
Merci d'avance.