Résiliation architecte (Essonne)

Bonjour,
J'ai mandaté un architecte d'intérieur pour un projet de rénovation d'une pièce de ma maison. J'ai signé un devis portant sur la conception et l'accompagnement aux travaux, et payé 50% d'acompte. L'architecte nous a livré les plans et a fait intervenir une entreprise pour deviser les travaux. Aujourd'hui, pour des raisons personnelles, je ne souhaite pas poursuivre le projet.
J'en ai fait part à l'architecte qui m'a envoyé la facture de solde. Il me facture 100% de la conception (normal), 100% de la préparation du chantier avec les appels d'offre (ce que je trouve beaucoup étant donné qu'il a fait intervenir une seule entreprise, il n'y a pas eu de mise en concurrence) mais surtout il facture 25% du solde restant au titre des CGV. 
Or les CGV mentionnent que "25% du solde est dû si le client ne donne pas suite 6 mois après le début des travaux". 
J'estime que les travaux n'ayant jamais commencé, cette clause ne devrait pas s'appliquer. La clause fait état du début des travaux et non pas du début du projet. Je n'ai jamais validé le devis des travaux et l'architecte n'a en conséquence jamais effectué le suivi de chantier. 
Pouvez-vous me dire si je suis en droit de ne pas payer ce supplément ?
Merci d'avance pour vos réponses.