Litige avec architecte suite à résiliation du contrat (Bouches Du Rhone)

Peu confiant dans la poursuite des travaux d'extension que j'avais commandés à un architecte, j'ai donc décidé de rompre le contrat qui me liait avec ce dernier. L'architecte me réclame de lui verser 20% du montant des travaux qui auraient du lui être confiés si le contrat n'avait pas été rompu. Mais il passe sous silence l'acompte que je lui avais versé à la signature du contrat. Je refuse de payer les pénalités ET de perdre l'acompte en même temps. Quant est il de cet acompte? puis je l'inclure dans les pénalités? quelles actions devrai je entreprendre si l'architecte refuse d'inclure l'acompte dans les pénalités?
je vous remercie de votre contribution.