Résilier un contrat de construction hors délai de réflexion

Bonsoir,

voilà nous avons signé un contrat de construction il y a maintenant un peu plus de 6 mois, pour l'instant les travaux n'ont toujours pas démarré alors que l'ouverture de chantier était prévue au 15.01.2008.
Ce n'est pas le seul souci que nous rencontrons. En fait le commercial qui s'occupait de notre dossier est parti de la société et son supérieur qui a repris le dossier nous a clairement signifié que tout ce qui avait été dit avec son ex salarié et non suivi d'un avenant n'était pas valable...
Du coup, pas mal de choses mises au point avec ce salarié démissionnaire, ne sont pas validées, nous sommes obligés de revoir notre "copie" (intégralité du carrelage de la salle de bains ainsi que sa disposition, plus values à foison, etc).
Il a en outre, refusé de nous transmettre le planning d'exécution des travaux car il ont déjà eu des soucis avec de précédents clients pour un ou deux jours de retard...
De plus, et cela peut paraître "léger" de dire ça, mais le contact ne passe pas du tout avec cette personne qui a pris le relais de notre dossier.

Nous avons souhaité donc rompre le contrat de construction en envoyant un recommandé avec AR, en signifiant notre décision d'arrêter avant le démarrage de chantier.
Le recommandé a été reçu ce jour et pour l'instant, le constructeur a laissé un message téléphonique où hormis le fait que notre courrier lui parait "étonnant", il nous signale qu'il a déjà commandé la charpente et de ce fait, a engagé des frais, donc financièrement il nous annonce que nous aurons aussi des frais ....
Que faire? Sommes nous dans l'impasse?
Avons nous un recours malgré tout?
Nous avons ce matin, fait faire un constat d'huissier sur le terrain pour prouver que le chantier n'a pas démarré.
Merci de votre aide et pour vos conseils par avance.