Contractant, permis de construire et lotisseur

Bonjour à tous,

Nous souhaitions passer par un contractant de marché de travaux privés (qui je pense correspond à la même chose que le maître d'oeuvre) pour la construction de notre maison.

Nous avons réservé un terrain en octobre puis vu ce constructeur qui a fait les plans de la maison. En décembre, il nous demande de signer le contrat pour la construction de la maison et de faire le permis de construire pour aller plus vite une fois le prêt accepté (permis de construire donné à un bureau d'étude extérieur à sa société = 1140 euros + BBIO = 420 euros).
Or à ce jour, après de multiples recherches par le courtier et nous même pendant 3 mois, il n'y a que le crédit foncier qui nous a accepté car toutes les banques passent par Vérifimmo qui bloque automatiquement ce constructeur. Mais nous avons refusé l'offre car elle ne rentre pas dans notre budget.

Nous devons donc choisir entre plusieurs solutions car le lotisseur nous laisse jusqu'au mercredi 31 mars pour la réservation du terrain :
- soit on annule tout le projet donc il récupère le terrain
- soit on achète le terrain mais ca va être compliqué de rembourser alors que nous sommes dans une location déjà cher
- soit on garde le terrain mais on décide de passer par un CCMI dans quel cas le lotisseur est d'accord pour nous laisser 2 à 3 mois supplémentaires mais là est le problème... 
             - Soit on garde notre permis de construire en trouvant un CCMI qui accepte de reprendre les plans et qui rentre dans notre budget et là on n'est pas sûr du tout de trouver...
             - soit on refait les plans intégralement d'une maison qui rentre dans notre budget


Mon problème est le suivant : le contractant nous dit qu'on est malhonnêtes d'avoir refusé le prêt blablabla... mais avait-il le droit lui de nous faire signer un contrat avec lui et un permis de construire et bbio alors qu'on n'était pas certains d'avoir une banque qui accepte notre crédit... Mon père étant très mécontent de la situation, il souhaite aller les voir pour récupérer l'argent mais les chèques n'ont pas été fait à l'ordre du constructeur...

Ca devient fatiguant physiquement et moralement car nous voyons notre projet s'éloigner à grands pas... Nous avons peur que le constructeur nous réclame de l'argent...

P.S : J'ai oublié... nous avons versé une caution de 3000e pour la construction, 2100e pour la réservation du terrain en plus... soit une somme totale en plus des frais ci-dessus de 6660 euros (dois-je y voir un signe ? ...666...)