Construire sur terrain agricole

Bonjour à tous,

Nouvelle sur ce forum je viens chercher des infos, avis et témoignages de personnes ayant vécu la même chose que nous.

Nous avons acheter un terrain dans le Gard en 2019 qui est classé A.

En 2020, mon compagnon devient exploitant agricole dans l'élevage de volailles. 2020 je dépose une première demande de permis de construire pour un hangar de 60m2 qui m'est refusé. Deux mois après je dépose une nouvelle demande, qui cette fois est accordée (Projet mieux travailler avec l'aide de la chambre d'agriculture).

Nous sommes en train de construire l'hangar et nous devrions commencer l'activité (production et vente d’œufs) d'ici la fin de l'année.

Ma question : Au bout de combien de temps puis-je demander une construction pour mon habitation ?

Car j'habite à 45 kms du lieu de cette activité et cela est contraignant déjà pour la construction alors j'imagine que pour l'activité cela rendra les choses plus compliquer.

Certains d'entre vous ont-ils réussi à construire leur habitation sur leur lieu d’exploitation? Et comment vous y êtes vous pris?

Merci pour vos réponses et bonne journée