Avis sur réserve fin de travaux pb permis de construire mod

Bonjour, nous avons fait une contruction d'un chalet en madrier, en CCMI qui arrive à l'achèvement dans 10 jours.

Nous avons obtenu un PC en 15 jours mais la réalité du terrain a rattrapé le contructeur pente trop raide pour accéder au garage, de là on nous propose de mettre le garage à la place de la cave et le garage devient un emplacement de rangement.
Nous demandons alors au constructeur de faire le permis modificatif , celui nous répond "on fait la mise hors eau hors air et on fera la modif ensuite, nous avons l'habitude..." (Message signé)
Seulement le permis modificatif a été refusé pour motif de problème par rapport à l accrochage naturel du terrain, mais la maison est faite.
Nous avons rencontré le maire qui dit que nous ne respectons pas le permis initial et que toutes modif seront refusées par l'urbanisme. Mais nous dit "ne vous faites pas de soucis on ne vous fera pas démolir la maison."
Nous essayons de proposer des schémas pour modifier l'aspect du terrain mais la DDt ne veut rien laisser passer et maintenant le maire nous dit de mettre en demeure le constructeur pour remettre la maison par rapport au permis initial et de ne plus rien payer.

Le constructeur dit qu il a tout réverifié et qu'il respectent le plu et ne comprend pas le refus du modificatif ( je lui ai dit de prendre rdv avec l'urbanisme sur le terrain)

Bref que faire? Dans quel mesure pouvons nous poser une réserve, si c'est possible? Faut mettre le contructeur en demeure?

Bien-sûr nous devons déménagé, nous n'avons plus d'apparat dans 10 jours, on a déjà une clef...

Merci de vos réponses.