Refus de permis , crédit immobilier en cours

Bonjour à toutes et à tous,

Notre permis de construire à été refusé par la mairie et la communauté de commune car , le constructeur n'avais pas respecter le PLU. Le terrain(en cours d'achat) fait 65 mètres de long pour 14 mètres de large. Nous devrions laisser 5 mètres entre une voie privée et la  façade avant et la longueur totale divisé par deux(distance entre la façade arrière et le fond de parcelle). En gros il restera que 6 mètres de large pour une construction. Il y a qu'une et unique possibilité pour que le terrain soit constructible c'est que le voisin nous vends une partie de son terrain(3m de large sur 12 de long = 36 mètres carrés). Les propriétaires du terrain n'ont pas voulu aller voir le voisin(car ce dernier voulait acheter le terrain pour faire son potager à un prix vraiment bas). Nous avons été le voir et lui expliquer notre situation(il y a eu pitié)  et a accepté de nous aider(vous êtes des jeunes , je ne vais vous empêchez de réaliser votre rêve). 
Pensez vous réellement en ajoutant les  36 mètres carrées qu'on pourra avoir le permis?
Peut-on garder le crédit en changeant de constructeur(avec un autre constructeur du même groupe)
Pensez-vous , vu qu'on a fait nous même toutes les démarches qu'on peut renégocier le prix du terrain? Nous ne cherchons pas a gagner de l'argent ni a dévaloriser le prix du terrain, mais c'est nous qui avons faire toutes les démarches a leur place.