Prix maitre d'oeuvre permis refusé (Eure Et Loir)

Bonjour, 

Je fais appel à vous aujourd'hui car j'ai besoin de conseils sur mon maître d'oeuvre.

Nous voulions faire construire dans la zone d'un bâtiment classé. Nous devions donc respecter le PLU de la commune mais également les prescriptions de l'architecte des bâtiments de France.

Nous avons rencontré un maître d'oeuvre que mon beau-père connaissait très bien. 
Il ne devait pas faire le suivi de chantier, seulement les plans et le dépôt du permis de construire. Je précise que nous n'avons pas signé de contrat avec ce maître d'oeuvre, je ne sais pas si c'est une erreur ou pas étant donné qu'il ne faisait pas le suivi de chantier. 

Cependant, le maître d'oeuvre nous a fait déposé un permis ne correspondant pas au PLU de la commune ! Nous lui faisions confiance et n'avons pas vérifié toutes les contraintes du PLU. 

Aujourd'hui, nous avons décidé de ne plus construire, la construction étant bien trop compliquée entre le PLU, l'architecte et le maître d'oeuvre qui dit être bloqué par les demandes de ces deux derniers (cela fait plus d'un an que nous essayons de construire). 

Le maître d'oeuvre nous demande aujourd'hui de lui régler 3200 euros pour les plans et le dépôt de permis. Est-ce cher selon vous ? 

Puisque le permis déposé ne respecte pas le PLU, ai-je un recours pour au moins diminuer cette facture ? 

De plus, l'agent qui nous a vendu le terrain m'a averti que le lotisseur pouvait, s'il le désirait, nous réclamer des frais étant donné que le permis ne respectait pas le PLU et que nous avions demandé au notaire de décaler la date initiale de dépôt de permis. S'il me réclame réellement ces frais, puis-je les réclamer au maître d'oeuvre qui n'a pas fait son travail correctement ? 

J'espère avoir été assez claire. 

Merci pour votre aide !