Probleme maison sur borne et cloture mitoyenne à enlever

Bonjour,
nous avons déposé un permis de construire en juin 2013 aupres de la mairie;
permis de construire accordé, notre maison se fera sur borne d'un coté
sur ce fameux coté il y a une cloture exixtante qui est mitoyenne c'est à dire à nous et au voisin d'a coté . la cloture est mise sur borne, d'apres le géomètre, mais la voisine estime que le poteau de la cloture dépasse un peu plus chez elle que chez nous.
Les voisins ne veulent pas enlever la cloture et ne veulent pas que l'on metre notre maison sur borne.il souhaite que l'on décale la maison de 10/15 cm pour garder la cloture.
La mairie ne veut pas que l'on décale 10/15 cm la maison.
la mairie nous a dit que nous sommes dans notre droit de mettre la maison sur borne et d'enlever la cloture , le permis de construire étant accordé.
est ce que quelqu'un a des infos, ou peux m'expliquer la procédure, comment faire ?
La maison commence dans 10 jours.
nos voisins sont des retaités et il nous menace en nous disant que leur fille est juriste et que l'on a pas le droit.
merci d'avance