Prêt accepté - Délai de retractation et proposition banque

Bonjour,

Désolé, mais l'histoire sera un peu longue ...

En mai, j'ai signé à ma banque un avenant à mon contrat pour baisser mes mensualités; ceci pour augmenter mon numéraire et prévoir la montée de charge pendant la construction.
J'ai profité de ce rdv pour obtenir une proposition de taux pour ma construction. Le taux était vraiment trop haut, donc j'ai voulu prospecter ailleurs.

Entre temps, mon conseiller n'a pas tenu compte de l'avenant signé et ceci malgré une quinzaine de relance. (il devaint de plus m'envoyer l'échéancier).

Je suis passé par un courtier (en apparence non payant) et eu une proposition de la Caisse d'Epargne. Nous avons réalisé la demande de prêt.

Entre temps, j'ai relancé mon conseiller et devant la non réponse à mes relances, j'ai envoyé un mail à l'agence.
Le directeur m'a contacté pour s'escuser, et j'ai dû resigner l'avenant. J'ai profité de ce rdv pour lui dire que nous allions quitter la banque.
Et j'ai demandé pour réaliser une simulation.
Après de nombreux échanges, la proposition de ma banque est plus intéressante et je dois avoir demain mon conseiller pour finalier le dossier.

J'ai reçu ce jour, l'acceptation de la caisse d'épargne en non recommandé.
Il prenne en date de début de délai de rétractation le 01/08 et au delà des 14 jours, ils m'annoncent que je vais être prélevé des frais de dossier, garantie, ...

Question :
Demain je devrais être en mesure de signer mon offre de prêt dans ma banque.
Le dossier reste en local car le montant le permet.

Comment procéder pour me rétracter auprès de la caisse d'épargne ?
Comment traiteriez vous la suite pour ne pas que dans le cas d'une rétractation, je me retrouve sans prêt si ma banque change d'avis ?

Merci d'avance.