Remboursement frais PC suite non signature promesse de vente (Yvelines)

Bonjour,

En mars 2011, nous avions fais une offre à un Agent Immobilier pour l'achat d'un terrain. Elle a été acceptée.

Il nous a conseillé un maitre d’œuvre pour la construction d'une maison.
Méfiants (cela semblait qd même téléphoné), nous avons poliment accepter de le rencontrer et il nous a fait des plans et un devis pour une maison magnifique.
Après avoir fait d'autre devis auprès de constructeurs, on a vu qu'il avait le meilleur rapport qualité / prix.

En avril, pensant signer la promesse au mois de mai et pour négocier notre emprunt bancaire, nous avons décider de signer une lettre d'intention avec le M O pour figer le devis.
En même temps, pour gagner dans les délais, nous avons lancer la constitution du Permis de Construire auprès de lui.
Nous avons donc verser, pour le dossier du PC, des honoraires forfaitaires de 3000 € en anticipation du coût de la maison.

Hors en mai, 3 jours avant la signature du compromis, nous apprenons, que les vendeurs refusent les clauses que voulions leur soumettre (Etude de sol, obtention d'un prêt et surtout obtention du Permis de Construire). Après conseil avec notre notaire, nous décidons de ne pas signer la promesse dans cette situation.

Notre AI nous a mis la pression pour signer sans les clauses mais nous avons refusé. Quelques jours après nous constatons même que le terrain est mis en vente (en direct vendeur) à 20% plus cher...
Nous comprenons donc que les vendeurs voulaient se détacher de l'accord qu'ils avaient avec l'agence immobilière pour gagner plus sur la vente...

Perdu pour perdu, en toute confiance, sur les conseils de notre A I et de notre M O, nous déposons qd même le PC à la mairie dans le cas où les vendeurs changent d'avis.
Hors nous avons appris que nous étions dans l’illégalité du fait que nous avions fait le dépôt sans l'accord des vendeurs (ce qu'ils nous ont pas dit).
Nous avons donc écrit au Maire pour demander l’arrêt de l'instruction du PC.



Notre question:

Avec le recul, on se rend compte qu'on a été manipulé par l'agent immobilier et le Maitre d’œuvre. On a pris des risques avec la loi pour les intérêt de l'AI (commissions), du MO (marché) et du vendeur (qui peut justifier que son terrain est constructible).
Nous avions évoqué avec ce dernier, un remboursement partiel des 3000 € vu que le PC n'avait pas été déposé. Il a travaillé, c'est un fait, mais ça ne vaut vraiment pas 3000€.
Hors comme il a été déposé (de manière illégale) il pourra dire qu'il a fait ce pour quoi il a été payé.
Pour info, il y a une case à cocher sur le formulaire du PC qui atteste sur l'honneur qu'on a le droit de le déposer. Elle a été coché par lui.
A sa décharge, on a effectivement signé le document sans vérifier. On a été naïf et trop confiant.

Pensez vous qu'on est en droit de lui demandé de nous rembourser, disons 50% du montant versé ? On sent (chez lui) un sourire gené quand on évoque un remboursement...
Pensez vous, comme nous, que ce que le MO a fait constitue un faute professionnelle ?
Pouvons nous lui mettre la pression en contactant une association ou autre ?

Merci pour vos réponses.
Bonne journée.