Dilemme avec mon constructeur

bonjour a tous,
voila je vous expose mon probleme,j'ai signe une promesse de vente(achat)a une societe qui cree un lotissement cela fait maintenant 2 ans et demi mais des differents entre lui et la mairie ,font que le dossier traine en longueur ,j'aurais du etre livre de mon terrain depuis juin 2006,donc ici je peux annuler mon contrat et recupere mon accompte cela ne gene en rien voir annuler le terrain.
par contre ds le meme temps j'ai signe avec un contructeur avec qui tous se passe bien ,mon contrat a ete signe en decembre 2005.
un permis de contruire a ete effectue et valide par la dde vers le mois de mai 2006,jusque la tout va bien.
avec ce contructeur nous avons signe un contrat uncmi avec des conditions particulieres qui stipulent que ds un delai de 8 mois si les conditions suspensives sont ne sont pas realisees le contrat sera considere comme caduc,ces conditions sont les suivantes,

1) acquisition par le maitre de l'ouvrage de la propriete du terrain
2)obtention des prets
3)obtention du permis de construireet des autorisationsadministratives
4)obtention de la dommage ouvrage
5)obtention de la garantie de livraison au delai convenu

donc il fallait que pour aout 2006 toute ces conditions soient realisees pour continuer le projet.
or a ce jour je ne suis tjrs pas proprietaire du terrain car les arretes de fin de travaux ne sont tjrs pas tombes et que le permis de construire est bloque a la mairie,pour le valider il faut tous les autres documents .

donc en aout 2006,jel aisse coule en me disant que cela n'allait pas tarder donc je prends sur moi le bt01,que je prends d'ailleurs jusque fin decembre 2006.mais vu l'inflation de ce fameux bt01 et l'augmentation que cela engendre,je me permets d'annuler mon contrat de construction car les conditions suspensives n'ont pas ete realises en tps imparti + annulation du permis de construire a la mairie.

jai donne un acompte a ce construteur d'environ 3000 euros,et je lui ai demande le remboursement ave c'annulation du contrat au mois de janvier 2007,tout en lui expliquant que l'augmentation et l'attente me convenais pas,mais qu'il restait prioritaire pour un nouveau projet (proposition)sur un autre terrain si cela venait a se faire.

donc lui accordant gentillement ma confiance je lui laisse l'apport des 300 euros car je comptais reconstruire avec lui ,normalement.

mais en ce mois de juin 2007 ,j'ai eu l'opportunite d'acquerir un nouveau terrain et la je lui demande un devis et la stupefaction il est environ 15 a 20000 euros plus cher que la concurence,lui qui etait si competitif 1 an et demi avant,pas tres content je lui demande expressement de me rendre mon acompte car sa proposition ne me convient pas,or la changement de registre ,monsieur ne souhaite pas me rendre mon acompte sous pretexte que lui n'est pour rien dans ces problemes administratifs ou gueguerre de commune ,et qu'il a fait son travail (permis de construire), je trouve cela abusif ,il dit que je ne comprends pas les conditions suspensives et me rabache que lui a fait son tavail,ce qui ne fait rien avancer.

qu'en pensez vous ?
quelles sont mes droits?

ps:je lui ai bien dit que je comprenais qu'il n'y etait pour rien mais que moi non plus ,il n'a cas ce retourner sur la commun e ou le lotisseur,bref j'ai repis rdv avec lui pour arrange ca a l'amiable ou avoir une proposition
dans ceux de la concurrence.

merci de m'avoir lu