Probleme avec constructeur et obtention PC

Bonjour,
Je souhaitais vous exposer nos deboires et avoir votre avis sur nos droits.
Le 20 juillet 2006, nous avons signé un CCMI avec un constructeur en IDF et nous avons signé un papier qui mentionne que nous mandatons le constructeur pour déposer le permis en notre nom. Le 23 juillet, nous avons signé devant notaire une promesse de vente pour le terrain. Le commercial du constructeur présent ce jour-là s'est alors engagé à déposer le PC le 31 août au plus tard (date reprise en clause suspensive par le notaire). Or le siège du constructeur qui rédige les demandes de permis était fermé au mois d'août. Nous avons donc du demander un délai supplémentaire pour le dépôt du permis qui a été finalement déposé le 12.09.06.
Aujourd'hui, nous avons un retour de la mairie nous informant que notre dossier est en attente car la maison est mal implantée sur le terrain ne respectant le POS. Nous ne pouvons donc pas mettre la maison sur le terrain.
Comme nous avons mandaté le constructeur, il nous semble que c'était à lui de se renseigner de toutes les normes d'urbanisme afin de s'assurer que nous puissions implanter le modèle de maison choisi sur le terrain.
De plus, nous avons comme clause suspensive dans le compromis de vente du terrain l'obtention du permis de construire au 7.11.06 au plus tard.
Nous aimerions savoir quels sont nos droits et nos recours par rapport au constructeur (à savoir que nous avons déjà versé 5% de réservation terrain au notaire ainsi que 5% de réservation maison au constructeur) dans le cas où la vente du terrain serait annulée. Sommes-nous en droit d'espérer récupérer les sommes déjà versées?
Que peut-on exiger du constructeur en sachant que la maison ne convient pas sur le terrain choisi?

Merci d'avance pour votre réponse