Aménagement maison avant réception

Bonjour,

je post pour la première fois sur ce forum mais je le parcours régulièrement. Je trouve de nombreux conseils mais cette fois je n'ai pas la réponse à mon problème.

Je pose la situation.
Nous avons signé un contrat de construction CCMI avec un constructeur de la région stéphanoise.
Projet de 4 maisons mitoyennes mais signé en maison individuelle par le même constructeur.
Le contrat mentionne une durée de construction de 10 mois.

Les travaux et la déclaration d'ouverture de chantier date du 25 novembre 2010.

Cet été, voyant les travaux prendre du retard, nous envoyons une LRAR pour essayer de faire avancer les travaux plus vite et en mentionnant les problèmes observés sur la maison.
Peu d'effet mais pas trop apprécié d'après certains artisans.
Au 25 septembre 2011 soit la date de livraison prévue), les travaux n'étaient toujours pas fini.

On nous fourni un pass pour l'accès à la maison dès le placo terminé et nous avons l'autorisation orale de faire le ponçage, les peintures et même les parquets flottants dans les chambres.

Octobre passe et certains de nos fournisseurs de meuble nous mettent la pression pour livrer nos meubles (cuisine, canapé, buffet).
Je me rends à l'agence du constructeur pour leur faire comprendre la situation et l'obligation de réceptionner ces meubles (sinon garde meuble donc des frais importants).
Les travaux accélèrent un peu et le carrelage et l'électricité sont terminés.
On nous livre les meubles.

Aujourd'hui, 60 jours après la livraison prévue de la maison, je reçois l'appel de fonds des 95% (fin de la plomberie). Je souhaite déduire les pénalités de retard de cet appel.
Le constructeur me dit que je dois payer la totalité de l'appel sinon ils ne me donneront pas le consuel et il me dit qu'il nous a laissé l'accès au chantier "gentillement" pour faire nos peintures et les réceptions de nos meubles et qu'on ne peut plus leur réclamé de pénalité car on a en partie aménagé la maison.
Je voulais savoir si cela est vrai? Ou s'il bluffe? Si je peux demander les pénalités? A savoir que le canapé et le buffet sont sous bâches et que la cuisine est en vrac et en cours de montage.

Merci de vos réponses.