Travaux de démolition démarrés avant signature du devis

Bonjour, 

Nous nous sommes lancés dans la construction de notre maison sur un terrain sur lequel étaient présentes des granges qu'il faut démolir au préalable.
Nous avons confié la démolition à notre constructeur, qui a fait appel à une société. Le premier devis qui nous a été transmis nous a semblé trop élevé (et le conducteur de travaux était d'accord). Ce devis avait été établi après une simple visite du terrain sans pouvoir pénétrer dans les granges (nous n'étions pas présents, cela s'est passé entre le constructeur et le démolisseur). Nous avons donc refusé ce devis. Quelques semaines plus tard, nous nouvelle rencontre avec le démolisseur, et cette fois j'étais présent. Il me dit qu'en modifiant l'accès au chantier, il devrait pouvoir baisser le prix. Et le lendemain (c'est à dire vendredi dernier), les travaux commencent, mais aucun devis n'a été signé. Nous avons reçu le devis seulement lundi (donc 3 jours plus tard), et le prix dépasse encore notre budget prévu.
Quelles sont nos recours ? Etant donné que la démolition est déja terminée, il reste à évacuer les gravats, ce qui doit être en cours actuellement, on ne peut pas dire de remettre en état ! Mais sommes nous tenus de payer une facture pour laquelle nous n'avons pas accepté de devis (cette facture est présentée comme un avenant au contrat de construction).

Merci pour vos conseils