Avis terrain avec approbation de la chambre d'agriculture

Bonjour à tous,

Nous souhaitons acquérir un terrain dans un village et nous aimerions votre avis.
Ce terrain est situé à 46 mètres d'une grange (la grange du propriétaire) et la chambre d'agriculture aurait donc un droit de regard sur notre permis de construire.

De plus, la distance minimale à respecter par rapport à la grange étant de 50 mètres, une partie du terrain est donc non constructible. Le paysan (et propriétaire du terrain que nous souhaitons acquérir) nous a dit que si il donnait son accord nous pourrions construire (faire déborder notre maison) sur cette partie non constructible.

Avez-vous déjà eu ou entendu des cas similaires ? Est-ce vraiment possible de mettre un bout de notre maison dans cette zone si le paysan donne son accord ?
Je vais quand même appeler la chambre d'agriculture pour avoir confirmation mais je voulais avoir votre avis, en espérant que j'ai été assez claire dans mes explications :p

Merci d'avance pour vos réponses