Puis je annuler un devis signe?

Bonjour, nous avons signe un devis de maconnerie en fevrier, le gerant nous a demande un cheque de caution de 2000e pour reservation donc pour prevoir une date qu il ne devait en aucun cas encaisser. Nous n avons eu aucun document mentionnant la date de reservation ni le cheque de caution.
Nous devions commencer en mai, ce qui etait prevu oralement, aujourd hui ce macon ,devenu moins cordial, nous annonce qu il commencera en juin et que notre cheque va etre encaisse cette semaine . Nous avons donc refuse l encaissement, nous nous sommes rendu dans son local pour trouver un terrain d entente mais ce monsieur semble etre devenu insolent voir tres agressif puisqu il nous a jetter de son bureau par la force, j ai eu le temps de lui reprendre le cheque des mains avant de partir. Que doit on faire pour ne plus travailler avec lui sans avoir a lui verser des frais pour prejudice? A savoir que le seul document qu il a en sa possession est le devis signe et qu il n a jamais mis un pied sur notre terrain.
Merci d avance pour vos reponses