Calcul indemnité de retard de livraison: HT ou TTC ?

Bonjour,
Je fais reconstruire ma maison suite à sinistre, via un "contrat de contractant général suite à sinistre".
J'ai abouti à 1 contrat principal couvert par l'assurance, et 2 contrats de travaux complémentaires à ma charge.
La déclaration de travaux date du 9 octobre 2017, durée contractuelle 8 mois donc indemnités de retard dues à partir du 10 Juin. Dans le contrat, il est écrit "indemnités dues 1/3000è du montant convenu par jour de retard".
Vu l'état d'avancement des travaux, j'ai prévenu le constructeur en Juillet que je lui demanderai des indemnités, et nous avons convenu "à l'amiable" de remplacer les poursuites et le paiement d'indemnités pécunières, par des travaux complémentaires.
Il m'a calculé une indemnité plafonnée à 5% du montant HT du contrat principal, en éludant les travaux complémentaires.
Je lui ai demandé une liste de travaux équivalent, en HT aussi.
Nous approchons de la fin, et j'apprends qu'il veut me faire payer la TVA sur ces travaux indemnitaires (donc diminuer l'indemnité de 10%)
Je ne suis pas d'accord, sauf à recalculer les indemnités aussi sur le "montant convenu" TTC.
Merci d'un avis sur ce point: ces mots sybillins "montant convenu", qui figurent dans les textes et 95% des forums qui en parlent veulent-ils dire "montant HT" ou "montant TTC?? L'imprécision du terme ouvre les portes à toutes les controverses...
Quels sont les textes légaux en vigueur?
J'ai trouvé le BOI 3 B-1-06, qui indique que la TVA ne s'applique pas aux indemnités, mais ne correspond pas précisément à mon cas.

Merci d'un avis, avec si possible les références des textes légaux.
Cordialement,
J. Fortin