Litige avec Contractant générale

Bonjour,
Il y a plusieurs mois, nous avons signé un "devis descriptifs des travaux" avec un contractant générale.
Son projet était bien, le prix aussi, donc go.
Sauf que l'urbanisme nous interdit de construire la maison comme prévu au fond du jardin, mais nous impose de construire en limite de voirie (on est en ville). Du coup, ça change tout et on repart sur un nouveau projet depuis zéro.
On travail avec lui sur plusieurs projets.. Sans que jamais on soit emballé par ce qu'il nous propose.
On a donc demandé à un maître d'oeuvre de nous proposer un avant projet. Nous en avons informé le contractant générale (transparence) en lui précisant qu'on choisirait le meilleurs des deux projets.
La il nous dit que c'est impossible qu'on est lié par contrat et qu'on ne peut pas faire construire par quelqu'un d'autre !!!
On est assez surpris car dans le devis précédemment signé il y a une clause d'obtention de permis construire qu'il ne peut visiblement pas avoir dans sa première version de projet. Puisqu'il n'arrive pas a nous emballer avec ses autres projets tenant compte des règles d'urbanisme, je ne vois pas en quoi on serait forcé de construire avec lui.
C'est litigieux car le on ne trouve pas grand chose sur le "contractant générale" (qui est loin d'être un architecte). Avez-vous des avis ?
Alex