Refus du MOE de rembourser notre acompte avec1 refus de prêt

Bonjour,
Actuellement nous rencontrons des difficultés avec notre maitre d'œuvre qui devait réaliser la construction de notre maison.

Suite à ma mutation nous avons prévenu la banque de ce changement qui nous a indiqué qu'il n'était pas judicieux de faire construire notre maison (vu que ma mutation engendre un double logement) que nous aurions de grandes difficultés à faire fasse aux divers frais.

Nous avons donc prévenu le notaire qui nous a remboursé la somme versée pour la réservation du terrain à construire.
Nous avons fait de même avec le maitre d'œuvre qui nous a stipulé qu'un mutation n'était pas une raison valable pour arrêter la construction donc il ne nous rendait pas les sommes déjà versées.

Nous avons donc recontacté la banque ainsi que l'ADIL qui nous ont dis que nous étions allé un peu vite car nous n'avions pas fourni notre refus de prêt.

Depuis nous avons envoyé ce refus de prêt mais le constructeur ne veux rien entendre et refuse toujours de nous rembourser sous motif de "magouille" avec la banque.

Comment pouvons nous faire pour que le maitre d'œuvre nous restitue notre argent car je crois savoir qu'un refus de prêt permet le remboursement des sommes déjà versées.
(sachant que nous en somme déjà à 2 lettre recommandé avec des mise en demeure des délais de remboursement non respectés... et que rien n'est stipulé dans le contrat, il stipule juste qu'un retrait non justifié du demandeur ne donne pas droit a restitution des sommes versées)

Faut-il prendre un avocat ? ou peut-on se débrouiller seul ?

Je vous remercie d'avance de votre aide