A qui appartient le permis de construire

Bonjour,
J'ai un soucis avec mon architecte/constructeur (il fait les 2).
1/J'ai signé avec lui une convention d'étude dans laquelle il est stipulé qu'il doit me remettre un dossier de plan au 1/100 et un chiffrage estimatif des travaux. Il est noté exactement:
"La rémunération forfétaire de 4500€ doit etre réglée à la remise du dossier de permis".
2/ Au moment du dépôt du permis, je n'ai aucun devis que j'ai pourtant réclamé plusieurs fois. Je n'ai qu'un mail où il me dit que la somme des travaux se situent entre 330 et 350 k€.
3/ 3 mois plus tard, je reçois un vrai devis, 40 000€ plus cher.
4/ je décide de le mettre en concurrence et je trouve mieux et moins cher ailleurs. Je décide donc de quitter mon archi/constructeur car je n'ai pas signé encore de contrat de constructeur avec lui.
5/ Mon archi/constructeur me dit que je n'ai pas le droit de faire construire la maison avec ses plans (ce ne sont que des plans extérieurs du permis de construire, pas des plans d'archi précis).
Il dit que c'est sa propriété intellectuelle et que les 4500€ de la convention d'étude dit juste qu'il me doit des plans, mais que je n'ai pas payé pour le dépot d'un permis de construire.
Du coup maintenant il veut 33% de la somme qu'il aurait du touché s'il avait fait son travail jusqu'au bout, soit 13 000€ (chiffre qui ne m'avait jamais été annoncé).
Si je fais construire ma maison, il me dit qu'il le fera interdire.

Le piège est donc le suivant: j'ai payé pour des plans que je ne peux pas utiliser car ils lui appartiennent soit-disant. Que si je veux partir, je dois repasser un permis de construire avec une maison différente ou alors je paye 13000€ pour avoir les plans archi et le droit de les utiliser.
Mon nouveau constructeur me dit qu'il ne faut pas payer.
Votre avis?

un grand merci,
coincheur_fou