Indemnités de retard de paiement

Bonjour,

Nous avons fait construire une maison en CCMI.
La réception était prévue pour le début du mois de juillet, et nous l'avons réceptionné 25 jours en retard; nous avons donc demandé à notre constructeur des indemnités de retard (environ 800€).

A la surprise générale, nous avons reçu une LRAR de notre constructeur nous disant qu'il était d'accord pour les jours de retard, mais que des factures d'appel de fond avaient été payé en retard, et il nous demande 1000 € de pénalités, au final nous lui devons donc 200 €!!!!
De notre côté, nous avons déduit les indemnités de retard du solde de la dernière facture.

Lors de la construction nous n'avions pas eu de relance pour nous indiquer que nous avions du retard dans la paiement. Nous recevions les factures chez nous, les donnions à la banque dans la semaine, qui les réglaient sous une dizaine de jours.

Après vérification entre les dates de factures et les dates de paiement, il y a effectivement des écart de paiement allant parfois jusqu'à 40 jours.
Nous n'avons pas gardé de preuve concernant les dates de réception des factures, mais la banque a daté les jours de réception des factures, ce qui prouve que les factures ont bien été réglées sous 10 jours.
Comment se défendre face au constructeur qui nous menace de faire recouvrir ces indemnités de retard par des sociétés spécialisées?
Est-ce au constructeur de prouver ces jours de retard?

Merci pour votre aide.