Un constructeur peut-il facturer sans signature ?

Bonjour,

Je résume rapidement mon problème :
J'ai souhaité mettre un terme à ma collaboration avec un constructeur après avoir reçu les devis et alors que ce dernier était en train de préparer le permis de construire.
Le constructeur n'a pas apprécié, ce qui est complètement normal vu le temps que nous avions passé à  retravailler les plans et devis. Il me réclame maintenant une somme importante pour la "réalisation" du permis de construire.

Je précise que je n'ai jamais rien signé, que le constructeur ne m'a pas jamais parlé d'aucune somme, que la notice descriptive qu'il m'a envoyé ne mentionne pas le permis de construire, ni son coût.

Merci de vos avis