Terrain à vendre sous condition de vente de mon terrain

Bonjour,
Je suis en train d'acheter le terrain de mon voisin. J'ai envoyé au notaire par mail une confirmation de ma décision d'acheter ce terrain. Quelques jours après le voisin m'a contactée par téléphone. Il m'a informée qu'il me vendrait son terrain que si je lui vends une parcelle de mon terrain alors que mon terrain n'a jamais été à vendre. Le compromis n'est pas encore signé.
Je viens d'avoir le notaire qui m'a confirmée que le voisin avait soumis la vente de son terrain à une condition sina qua non que je lui vende mon terrain.
Que puis je faire ? Je veux acheter son terrain mais je ne veux pas vendre le mien.
Merci