Quelle valeur juridique a une attestation de réservation de terrain ?

Bonjour,

nous sommes propriétaire d'un terrain constructible qui va être déclassé en fin d'année 2019. Afin de ne pas perdre sa valeur nous avons envisagé 2 options : vendre ou déposer un permis pour projet locatif.

En mars nous avons été mis en relation avec un constructeur qui souhaitait proposer notre terrain à un couple de ses clients. Je l'ai autorisé oralement à se rendre sur le terrain. Il l'a présenté à ses clients fin mars.

Après accord oral sur le prix, le constructeur m'a (enfin!) fait parvenir un document signé du 12mai intitulé "attestation de réservation de terrain" mentionnant le prix, la référence cadastrale (erronée que j'ai corrigée), la superficie, les coordonnées des acheteurs et les nôtres. Il y avait aussi une mention disant "sous réserve de signature de l'acte sous .... mois". Aucun délai de mentionné. Nous l'avons signé. Tout cet échange a eu lieu par mail (document reçu erroné et incomplet, imprimé, corrigé, signé, scanné et retransmis par mail sans mention de délai). 
Suite à cela j'ai fait les démarches auprès du notaire pour signature d'un compromis de vente. Rdv a été fixé au 11juin. Le 8 juin les acquéreurs ont annulé ce rdv, signifiant vouloir une 2eme lecture et qu'ils ne voulaient s'engager sans le plan du géomètre (démarches en cours de notre côté) car un écart de 5cm sur la largeur du terrain serait "rédhibitoire" pour leur projet. (NB : le terrain est rectangulaire profond mais peu large, environ 10mX40m).
Ce 8 juin j'ai aussitôt signalé au constructeur que devant l'incertitude de ses clients nous ne garantissions plus d'exclusivité et que je remettais plus visiblement mon terrain à la vente.

Depuis cette annulation de rdv nous sommes restés sans nouvelles tout le mois de juin. Nous avons donc, devant cette rupture des négociations et pression du PLU, activé notre plan B et mis en place les démarches pour déposer un permis avec projet locatif.

Coup de théâtre,le 2juillet, réapparition des potentiels acheteurs qui veulent fixer un rdv de signature chez le notaire. Nous leur avons fait part de notre refus de vendre vu la tournure des choses et que nous avions changer nos projets.

Ce lundi 8 juillet, appel du constructeur qui m'informe qu'à cause de l'attestation de réservation nous ne pouvons nous retirer de la transaction sans quoi les "acquéreurs" se retourneraient contre nous pour obtenir remboursement des frais engagés (études thermique, de filière, frais d'architecte, frais de bureau du constructeur, ...) ainsi que des dommages et intérêts !
Mon notaire qui a eu le fameux papier entre les mains me dit qu'il n'a aucune valeur juridique et que nous sommes parfaitement dans nos droits. Mais ils me font peur (jolie tactique pour obtenir la vente....).
Qu'en pensez-vous ?
Peuvent-ils m'obliger à vendre ?
Peuvent-ils me réclamer de telles sommes (ils me parlent de 10 000 euros !)?
Etaient-ils en droit d'effectuer des études diverses sur notre! terrain avant même de s'être engagé chez le notaire ?

merci d'avance pour vos retours qui, j'espère, iront dans le sens de mon notaire. Et navrée pour la longueur de la question....