Obliger la remise des clés

Bonjour,

Nous avons acheter une villa dans un lotissement, qui malgré de nombreux retards et enfin terminée.
Bien sûr, il reste quelques petites anomalies qui ne gènent en rien notre entrée dans le logement vu qu'il s'agit principalement d'aménagement extérieur qui seront réalisés dans quelques mois d'après le constructeur (mur d'enceinte, portail, boites au lettres, local poubelle...)
Notre constructeur nous a envoyé le dernier appel de fond il y a un mois, que nous avons fait mettre sous séquestre chez son notaire en attendant la livraison.
Notre soucis, nous avons un besoin urgent de déménager, nous occupons même illégalement notre logement actuel depuis le 1er juillet, or plus de nouvelle de notre constructeur depuis 10 jours.
Renseignement pris, celui-ci serait parti à St Martin! Il ne répond ni au téléphone, ni au sms, ni part mail...
Peut-on l'obliger à effectuer la remise officiel de la maison? Peut-on y entrer "de force"? Le notaire nous ayant remis notre acte de propriété, c'est tout de même ma maison, non?
Serait-ce légal d'en prendre possession, en faisant faire un état des lieux par un huissier par exemple? Dans ce cas là, comment ça se passe pour les réserves? Nous ne souhaitons pas verser les 5 derniers % avant que l'ensemble de la résidence et aménagements prévus dans notre contrat d'achat soient terminés.

Que ferez-vous dans notre cas?

Merci pour vos réponses