Problème avec agence immo et frais d'agence Résolu

Bonjour,
Je suis nouvelle sur ce forum mais je le lis beaucoup.
Je vous explique la situation.
Nous avons un projet de construction de maison avec mon conjoint.
Nous cherchions donc un terrain, en nous baladant dans notre village nous remarquons un terrain (que nous avions déjà vu plusieurs fois) avec dessus un panneau d'une agence immobilière.
J'envoie donc un mail à l'agence pour avoir des renseignements sur ce terrain (toujours dispo, prix ferme etc).
Le lendemain (lundi), l'agent me répond par mail, puis je le recontacte par téléphone pour avoir des réponses plus précises.
Le jours d'après, je lui renvoie un mail l'informant que nous pensons faire une offre d'achat pour ce terrain d'ici samedi.
Il me répond en me disant qu'il va m'envoyer un modèle d'offre d'achat pour ce terrain et que je peux aussi lui envoyer nos copies de pièces d'identité pour qu'il monte un dossier. Ce que je fais le soir même...bêtement...
Le samedi matin, je rencontre un constructeur et nous allons voir le terrain ensemble. Il me dit que justement il allait me le proposer et qu'il connait le nom du propriétaire. Je lui explique que j'ai déjà pris contact avec l'agence.
Puis quand nous étions devant le terrain, le propriétaire est venu à notre rencontre...
Je lui dis donc que je souhaite acheter son terrain avec mon conjoint, mais que j'ai déjà eu un contact avec l'agence mais je n'ai rien signé, je ne les ai même jamais rencontré.
Il me dit et bien donnez moi votre offre directement à moi, ce que je fais l’après midi même.
Le terrain est à 40000 euros, les frais d'agence 4000 euros. Donc si je peux m'en passer et en plus c'est le propriétaire qui est venu à ma rencontre. Je précise qu'ils n'ont pas de mandat d'exclusivité.
Lundi je contacte le notaire,  rdv pris la semaine d'après pour signer compromis de vente.
Mardi je contacte l'agence, pour ne rien leur cacher, et je leur dis que le propriétaire est venu vers moi et m'a proposé de faire affaire directement avec lui.
Et bien sûr, l'agent l'a très mal pris, m'a limite menacer par téléphone puis sur mon répondeur, comme quoi il n'allait pas en rester là, qu'il avait des preuves des échanges de mail (oui et alors c’était des infos c'est tout). Je lui ai répondu que c'est moi qui avait trouvé le terrain et que je n'ai pas eu besoin de lui pour le voir et qu'on ne s'est même pas rencontré.
3h après son directeur envoyait un mail aux notaires comme quoi ils nous avaient mis en relation pour la vente de ce terrain (en gros qu'il a fait son taf) mais sans parler du conflit qu'il y avait.
J'ai de suite appelé les notaires pour leur expliquer ma version, ils m'expliquent que du coup tant qu'on n'a pas trouvé de solution amiable, le compromis ne se fera pas, car ils ne veulent pas être juges dans cette affaire..
Ma première question est est ce qu'un panneau d'agence fait office de "mise en relation avec le vendeur "?
et ont ils le droit d'exiger quelque chose pour 2 mails envoyés et un appel !!!
Le propriétaire maintenant a peur d'avoir des ennuis avec l'agence, car forcement  ils ne peuvent rien contre moi, ils vont donc gratter du coté du propriétaire...

Merci pour vos réponses