Isolant humide après infiltrations : refuser la réception ?

Bonjour,
Le chantier de notre maison a débuté fin février 2018 (CCMI). Fin décembre, il y a eu d'importantes infiltrations d'eau car le constructeur n'avait pas mis l'enduit extérieur avant de poser l'isolant et les cloisons. Le placo était humide sur 4 murs, avec des tâches de moisissure, et la laine de verre trempée. Nous avons demandé leur remplacement, mais le constructeur nous a assuré que ça allait sécher et qu'il installerait un assécheur pour accélérer le processus. Deux plaques de placo ont été retirées pour pouvoir surveiller l'évolution, en accord avec un expert indépendant, et l'enduit extérieur a été fait pour prévenir d'autres infiltrations.
Nous voici fin mars, et malgré les 3 mois passés et l'assécheur, la laine de verre est toujours très humide. Le constructeur nous dit que ce n'est pas grave, que c'est de l'humidité "résiduelle" et que ça va sécher petit à petit. Ils nous convoquent pour la réception de la maison mi-avril (soit 15 jours de retard, donc paiement de pénalités) et ont l'intention de refermer les cloisons incessamment, ce qui fait qu'on ne pourra plus tâter la laine de verre. 
Pensez-vous que nous devons accepter une maison neuve à l'isolant humide et leur faire confiance sur le fait que ça va sécher tout seul petit à petit ? Ou devons-nous refuser la réception en disant qu'ils doivent nous livrer une maison complètement sèche, avec une laine de verre au pouvoir isolant intact ? 
Merci de vos conseils...