VRD + fondations clôtures

Bonjour, je vous contacte pour un renseignement qui me tracasse pas mal. Je m'explique. Mon épouse et moi faisons construire notre maison. Nous passons par un constructeur. Le projet est au stade hors d'eau hors d'air.J'ai pris contact avec une entreprise pour faire les VRD sur mon terrain, et également faire les fouilles autour de la maison pour les clôtures. De plus, je dois me faire livrer du matériel ( moellons,ferrailles etc). Par politesse, j'ai envoyé un message à mon conducteur de travaux. Il m'a rappelé en me disant que je n'avais pas le droit, sa responsabilité était en jeu, il pouvait perdre son travail, il était responsable du matériel que j'achète et je stock sur mon terrain. Et que pour tout travaux, nous devions faire un arrêté de chantier. Étant donné que c'est sur mon terrain et pas dans la maison ( dont je n'ai pas l'accès ni les clefs mais ça c'est normal), je voulais savoir si j'étais dans mes droits. Dans mon contrat, il est stipulé que je ne peux pas faire de travaux dans la maison, mais rien n'apparaît pour le terrain. J'ai fais de multiples recherches, je n'ai rien trouvé qui m'interdit de le faire. Rien n'apparaît non plus sur Legifrance . Pouvez vous m'aider