Pénalité retard constructeur

Bonjour,
Je fais actuellement construire une maison en CCMI et mon constructeur est très en retard puisque la date d'ouverture de chantier date du 12/06/12, que le contrat prévoit 11 mois de construction et qu'il n'y a pas eu de retard dû aux intempéries. Nous sommes en septembre et, malgré mes demandes orales, je ne connais toujours pas la date de remise des clés. J'ai payé 95% du contrat malgré que les travaux relatifs à cette tranche de travaux ne soient pas complétement terminés (le constructeur m'a menacé de ne pas terminer cette tranche de travaux car il devait, m'a-t-il dit, payer d'avance les carreleurs qui devaient intervenir). J'ai donc l'intention de lui appliquer les pénalités de retard prévues au contrat de construction (1/3000ème du montant par jour de retard). Je ne sais pas comment m'y prendre. Pourriez-vous m'aider ? Puis-je déduire d'autorité ces pénalités des 5% restant dûs ? Dois-je engager une autre procédure ? Que dois-je faire s'il refuse de me donner les clés ? Si quelqu'un a eu une expérience dans ce domaine, je vous remercie d'avance pour votre aide. Très cordialement.