Dérogation limitation de propriété PLU

Bonjour à tous,

Mon compagnon et moi avons acquis un terrain et finalisé le dossier avec l'archi pour le permis de construire.
Profitant du week end et n'étant pas très visuelle on a disposé des piquets sur notre terrain pour que je visualise mieux l'implantation de la future maison .

Notre projet est une maison accolée par le garage au garage du voisin d'a côté, qui lui a déjà finit de construire sa maison et la donc mise en limite de propriété (conforme au PLU qui stipule qu'on doit construire soit en limite de propriété ou avoir un écart de 3m)

Sauf que le voisin à tilté en voyant que nous allons accoler notre garage au sien. Il nous a téléphoné nous demandant de changer notre projet pour pas que  nos maisons soient mitoyennes par le garage car cela ferait perdre de la valeur à sa maison ...

Je lui ai dit que lui avait construit son garage en limite de propriété et que nous avons le droit également car c'est l'implantation la plus judicieuse pour pas "perdre " de terrain .
Il a essayé de nous faire changer d'avis avec divers "arguments" et nous a même sorti qu'il aurait mieux fait d'acheter le terrain quand les proprios lui avaient proposé (sympa ! XD)

d'où mes questions:

pensez vous vraiment qu'une maison perde beaucoup de valeur si les garages sont accolés ?

On a réfléchi avec mon compagnon et voulant bien nous entendre avec nos futurs voisins nous voulons trouver un compromis
je refuse de décaler mon garage de 3m car au total on perdrait un demi are de terrain bloqué entre 2 garages pour pas y faire grand chose (et au prix de l'are chez nous merci!)
donc nous avons pensé demander une dérogation pour décaler le garage de 1.5m de la limite de propriété avec accord écrit du voisin ( ce sera le seul voisin impacté par cette "nouvelle "limite) 
est ce possible , à qui faut il s'adresser ?

en vous remerciant d'avance