PC ANNULÉ PAR LE TRIB ADM MODIFICATIF ACCEPTÉ EN MAIRIE

Bonjour,

N'ayant trouvé aucune réponse claire à ma question je voudrais savoir si quelqu'un est en mesure de me renseigner, voilà :
j'ai fait une demande de permis de construire pour un peiti immeuble locatif de 5 appartements, ledit permis m'a été accordé par la mairie de la commune en mai 2011, des voisins ont contesté ce permis, l'affaire a été portée au tribunal administratif qui a annulé le permis. J'ai demandé un permis modificatif à la mairie qui me l'a accordé sans la moindre difficulté, j'ai fait constater l'apposition du panneau en janvier dernier par un huissier et à ce jour personne n'a contesté.
Ma question est : Le permis initial ayant été annulé, le permis modificatif est-il valable juridiquement ? Je précise qu'il a été attaqué sur les problèmes que pourraient générer une circulation supplémentaire de véhicules sur la voirie, et sur l'emplacement d'un local poubelle, ces points ont été modifiés par l'archi et la demande de permis modificatif a été déposée sur cette base. Je précise également qu'en discutant avec le voisin à l'initiative de cette procédure d'annulation il s'avère que les problèmes de circulation ne sont pas sa priorité loin de là mais plutot que la construction d'un petit immeuble près de sa maison lui porterais soit disant préjudice en cas de revente et qu'il aurait du vis à vis sur sa piscine ! !
Pensez vous que si aucune contestation n'est advenue avant le terme des deux mois d'affichage je pourrais commencer les travaux sans problèmes ?
Merci de répondre à mes interrogations.