Changement de constructeur pendant le recours au tiers . (Isere)

Bonjour a tous,

J'ai trouvé un terrain et un constructeur séparément , le constructeur m'a proposé un style maison qui me paraissait intéressante mais j'ai tenu à faire moi même les plans ( rien de compliqué ni de farfelu, une simple maison de plein pieds rectangulaire mais avec une disposition des pièces qui nous convenais à mon épouse et moi)

Le constructeur dont je tairais le nom pour le moment volontairement, m'a fait une proposition intéressante et je l'ai acceptée oralement, rien n'est encore signé entre nous.

Dans son devis il prévoyait des frais d'archi, que je suis allé voir et à qui j'ai donné des plans précis.
Je précise que j'ai payé moi même la facture.

Nous avons donc le constructeur et moi fait les négociation diverses et sommes tombés d'accord, il m'a fait un devis pour ma banque, laquelle a accepté le financement.

J'ai donc demandé à l'archi de faire le dépôt de permis de construire, qui a été accepté le 24 septembre, nous avons plantés le panneau le lendemain, le délai cours donc jusque fin novembre.

Toujours sans contrat de construction je harcèle le constructeur depuis, la banque de son côté me harcèle aussi évidement pour l'avoir et lancer le prêt ... Mais le constructeur fait la sourde oreille prétextant qu'il a beaucoup de travail et préfère finir ses chantiers pour se consacrer au mien...

Je sent comme une anguille sous roche et je voudrais savoir le cas échéant si je peux changer de constructeur et la perte de temps que cela implique.

Je vous remercie de votre aide et vous souhaite une bonne soirée.