Refus paiement des pénalités avant livraison

Bonjour,

nous faisons notre maison en CCMI et notre contructeur a pris beaucoup de retard.
Il devait nous livrer notre maison le 22/04/2014, et il reste encore des choses à faire (la plupart seront des réserves car esthétique mais le plus gros est la pose des volets roulants qui est prévu depuis fin avril !)
Nous lui avons donc réclamer mi juin avec LRAR, avec une copie au garant, le réglement des pénalités de retard et nous lui avons rappelé tous les travaux restant à faire.

Ses seules réponses ont été des mails ou oralement par téléphone nous disant qu'il ne pouvait pas calculer les indemnités de retard avec le jour de la livraison et qu'il les déduirait du dernier appel de fonds. Nous lui avons répondu que les pénalités de retard était exigible immédiatement et que les réserves n'étaient pas faits pour ça, mais il fait le sourd.
De plus, vu le nombre de réserves qu'il risque d'y avoir et le fait qu'ils avancent à la vitesse de l'escargot (une intervention par semaine), les 5% seront bien nécessaires.

Bien sur, nous devons déménager le 22 juillet et nous sommes pressés par le temps. Le constructeur nous disait toujours, mais oui pas de soucis, je vous livre dans une semaine, du coup au début on l'a cru et on a donnée notre dédite.
Nous avons fait également la bêtise de payer les 95 % suite à un chantage de notre cst.

Merci par avance pour vos réponses.