Réserves & retenue de garantie

Bonjour,
Depuis la réception des travaux en 2010, nous avons fait intervenir un expert qui a mis en évidence un certain nombre de réserves et bloqué la retenue de garantie de 5% en attendant qu'elles soient levées...
Certaines ont été réalisées mais pas l'ensemble de celles relevées par l'expert qui est de nouveau intervenu pour faire le point des travaux...malgré nos lettre recommandées le constructeur s'est totalement désintéressé de nos travaux et problèmes depuis 2011 Donc les réserves n'ont pas été levées et donc la retenue de garantie est toujours bloquée.
Il vient de nous adresser un LRAR, nous appelant les dispositions de la loi N° 71-584 du 16/07/1971...Il dit que nous n'avons pas rempli nos obligations et nous met en demeure de régler, même si ce dernier n'a pas pour nous rempli les siennes en faisant les travaux permettant de lever les dites réserves.
Nous n'avons pas voulu compte tenu des couts...engager une procédure. Avons nous des droits pour faire face à ce constructeur qui ne nous a toujours pas donné satisfaction et qui après n' avoir pas fait les travaux objet des réserves en faisant depuis deux ans le mort veut nous contraindre a payer la RG de 5% ?
Nous sommes totalement désorientés et avons du mal a comprendre
Remercions par avance les personnes susceptibles de nous conseiller
Bien cordialement