Ccmi et non obtention de prêt

Bonjour a tous je me permets de venir vers vous car j'ai un soucis avec mon constructeur.

Alors voilà j'ai signé un ccmi le 19/03/23 pour une maison vec un constructeur j'ai par la suite eu un refus de prêt de ma banque a cause du cautionnement.

J'ai contacté le commercial pour lui annoncer la mauvaise nouvelle il m'a demandé quel banque avait fait le refus et lorsque je lui est dit il se trouve qu'il avait une connaissance qui travaille dans cette banque qui la appelé.
Par la suite ma conseillère m'a contacté pour me dire quel pourrait me faire un prêt P.A.S  avec hypothèque.

Donc la Banquière m'envoie une simulation et elle m'informe que contrairement au premier prêt je ne peux pas avoir de différé sur ce type de prêt et que le montant de l apport initialement prévu a 6000 € passe a 9000€.

Donc j'en parle avec ma conjointe et nous nous voyons pas payé notre loyer pendant la construction plus les frais intercalaires avec deux enfants à charge.
Les frais intercalaires qui eux seront de 700€ maximum.

Je décide donc de rappeler le commercial pour lui annoncer notre décision et la il me dit ok mais vous allez devoir nous verser des indemnités car vous ne respectez pas le contrat je lui dit que j'ai pourtant une lettre de refus et que normalement cela casse le ccmi il refuse et me dit que lui sais que la banque nous suit avec le prêt P.AS .
Et ce que d'après vous je suis dans mon droit ou alors je lui doit les indemnités ?
Je vous remercie d'avance pour vos retours