Changement assurance en cours de prêt

Bonjour,
Voilà je vous explique mon probleme, courant 2010 nous contractons un prêt auprès de la caisse d'épargne AUVERGNE LIMOUSIN afin d'acheter notre terrain et faire construire notre maison. Malheureusement tout ne va pas aussi vite que nous voulions et ce n est que tardivement que nous obtenons les différents documents permettant d obtenir ce prêt (manquait demande de permis, devis constructeur). Bref afin de bénéficier des crédits d’impôts sur les intérêts d'emprunt nous prenons l assurance CNP de la banque qui coûte les yeux de la tête mais avec l 'engamenet de ma conseillère comme quoi je pourrais changer d assurance dès que mon assurance GMPA aura accepté de nous assurer et à assurance équivalente. Bref le prêt est accepté et édité avec l assurance banque juste le 30/12/2010. Fin janvier 2011 la GMPA m'indique qu'elle m'assure pour mon prêt et cette délégation d'assurance est accepété par la caisse d'épargne mi Février 2011. Mais depuis je me trouve à payer deux assurances car après contacte téléphonqiue avec mon banquier celui-ci m'indique que sa direction arrêtera l assurance CNP du crédit qu'une fois tout les fonds débloqués.De plus la GMPA ne veut pas arrêter de prélever l assurance afin de couvrire les fonds déja débloqués. Je me retrouve donc à payer deux assurances, à votre avis quels sont mes recours et contre qui ?
merci