Signatre contrat de construction ?

Bonjour,

Voilà mon souci, j'ai signé un contrat de construction avec un constructeur, je lui ai dit avant de recevoir le recommandé que je n'étais plus intéresse par le terrain puis quatre ou cinq jours plus tard nous recevons le contrat avec les plans en accusé de réception. Je l'ai appelé pour lui demander si je devais le renvoyer en accusé pour l'annuler, il me dit que nan se n'est pas la peine vu que je n'ai pas signé de compromis de vente pour le terrain ou signé de permis de construire et que je ne lui ai pas versé d'acompte.

Que dois-je faire ?
Y a t'il une manœuvre du constructeur la-dessous ? Risque t il de me faire du chantage plus tard si je ne veux plus faire construire chez lui ?

Par avance merci

PS: Il me reste jusqu'à mercredi pour le délai de 7 jours de rétractation, et je l'ai reçu en double un à mon nom puis un à celui de ma conjointe.