Blocage ABF car 2 maisons identiques

Bonjour à tous, 

Suivant de nombreux conseils, nous avons consulté l'ABF de notre département avant dépôt du PC.
Notre projet est dans les starting-blocks, prêt validé, terrain bloqué et plans ok. 
Notre objectif initial était de valider avec lui des menuiseries alu qui ne passent pas tout le temps. 
Mais nous étions à mille lieux d'imaginer ce qui allait se passer.
En effet, durant la rencontre, l'ABF nous a indiqué qu'il s'opposerait à notre projet car... les voisins ont la même maison !!!
Nous ne le savions absolument pas au moment de choisir le constructeur et quand bien même ce fut le cas, le but des lotissements (5 maisons dans notre cas), c'est qu'il y ait une cohérence architecturale...
Oui mais là, il y en a trop. 
Je précise qu'il a octroyé le PC dans souci à notre voisin pour sa maison jumelle, donc tout dans nous projet respecte les exigences des bâtiments de France et du lotissement. 
Nous sommes dépités et ressentons une vraie injustice. 
Auriez-vous des conseils pour nous ?
Merci beaucoup par avance. 
Rémy