Puis-je faire annuler un permis déposé sur mon terrain sans être titulaire ?

Bonjour
je suis propriétaire d'un terrain. Ce terrain est sous compromis avec pour une partie un acte de substitution. Pour l'ensemble du terrain un constructeur ( qui n'est pas la personne qui a signé le compromis) a déposé un permis de construire valant division du terrain pour 3 maisons. Ce permis a été accepté début décembre 2010. Je devais avoir 2 acquereurs mais maintenant un des deux s'est retiré du projet. Le constructeur a des ennuis judiciaires avec les scellés posés sur le bureau et en plus il est hospitalisé. Son fils ma précise qu'il sera dans l'incapicité complète d'assurer les constructions et en plus je n'ai plus qu'un seul acquereur.
Je sui sentrain de rompre le compromis avec le notaire.
Par contre puis je demander l'annulation du permis alors qu'il n'est pas à mon nom ?
Sinon une fois le compromis rompu si je trouve quelqu'un d'autre qui depose un nouveau permis est ce que le nouveau dépot permet d'annuler automatiquement l'ancien ?
merc d evotre aide.