Droit ou pas de rentrer dans la maison sans personne ?

Bonjour,
la semaine prochaine, nous allons commencer à poncer les murs dans les chambres, où tout est fini. En effet, l'électricité, le placo et la chape sont faits.
Mardi nous aurons la possibilité de rentrer sur le chantier, alors qu'il n'y aura pas d'artisan (le carreleur va venir m'ouvrir le matin puis repart).

Mais voila ma question : si le chef de chantier passe par hasard, que peut il me dire ?
Ai je le droit d'acceder a mon chantier ?

Je rapelle que le constructeur ne veut pas donner les clefs, pour une question d'assurance. En effet au cas on se fait mal à l'intérieur.

Cependant, nous lui avions demandé si nous pouvions faire des "travaux", pour nous avancer. Il nous ont répondu que oui mais qu'il ne voulait pas le savoir.

Bref en gros, je voudrais savoir si l'on peut accéder à notre chantier ou pas ?
Après tout c'est quand meme notre maison ...

Merci pour vos réponses.