Réduc des frais d'agence suite a annulation compromis de v ?

Bonjour,
je vous explique mon histoire :
Il y a environ 3 mois, nous avons signé un compromis de vente pour une maison. 155 K€ + 10 K€ de frais d'agence. Nous devions signer lundi dernier 02/07. 2 jours avant la date de signature, nous avons reçu un courrier du notaire accompagné d'un certificat médical, nous indiquant que la vendeuse n'avait pas toutes ses facultés mentales et que du coup le compromis était annulé.

Lors de la signature du compromis, la vendeuse (94 ans) nous avait paru fatiguée, mais ses neveux qui étaient là pour l'assister, nous avaient été présentés comme ayant pouvoir. Nous faisions confiance à l'agent immobilier (c'est son boulot de faire tout les vérification surtout vu combien on lui lâche en frais d'agence). Nous estimons que l'agent immobilier à commis une belle erreur et du coup nous souhaitons envisager différentes possibilités qui sont les suivantes :

-Peut on demander une réduction des frais d'agences compte tenu de cette erreur ? Si oui combien ? Sachant que l'on décale la vente d'au moins 3 mois (çà nous coûte 2400 € de loyers en plus minimum ) et que si les démarches prennent du temps, nous risquons de payer 2 taxes d'habitation (celle de notre logement actuel et celle de notre futur maison). Les arguments que nous avançons sont ils valables ?

-Nous ne sommes plus engagé avec l'agence vu que le compromis est annulé. Du coup pourrait on passer en direct avec le notaire (les frais serait quasi divisés par 2). Est ce que mon raisonnement est bon ? Ce cas serait extrême si l'agence ne faisait pas d'effort au niveau de ses frais.
D'avance merci pour votre aide
Olivier