Problème avec architecte (Bas Rhin)

Bonjour

Nous avons contacté un architecte pour monter un dossier pour un permis de construire d'une maison individuelle, nous avons conclu un accord oral sur un prix et rien n'a été signé par les 2 partis, le permis est revenu de la DDE une première fois avec quelques petites remarques sans gravité. Il a rectifié les notifications, renvoyé les pièces manquantes.Hier la DDE m'a donné une réponse défavorable (permis refusé) pour plusieurs raisons (une page pleine!), toutes pour la même raison non respect du plan d'occupation des sols.
J'ai contacté la personne en charge du dossier à la DDE, elle n'a jamais vu un dossier pareil et il est impossible qu'un dossier passe avec des documents de cette qualité. Elle m'a fortement conseille de changer d'architecte.
Hereusement pour nous, je ne lui ai versé aucun reglement à ce jour malgré la facture qu'il m'a présenté et je souhaite vivement me séparer de lui.
Sommes-nous dans l'obligation de payer cet architecte ?
Que risquons-nous si nous refusons payer ?