Permis modificatif refusé pour construction en cours

Nous avons acquis l'ancienne ferme de nos grand parenst. Nous avons déposé un permis de construire pour rénover une ancienne creche-habitation. Nous sommes en zone NC agricole mais sur le terrain existe déjà une autre maison. Le permis a été accordée mais les murs que nous devions conserver sont tombés ou ont été fragilisés. Nous n'avons pu garder aucun. de ce fait, la construction devenait neuve. Nous avons tout de meme remonté la facade en pierre d'origine. Pour des questions techniques, nous avons du augmenter la hauteur de 45 cm et élargir une porte d'entrée de 90 à 110 cm.
La DDE a fait une procédure et les travaux ont été arrêtés alors que la maison est hors d'eau. Précisons que le maire passe devant cette maison tous les jours tout comme l'agent de la DDE. Ils n'ont rien dit avant qu'on arrive au toit. ; Nous avons donc arrêté les travaux après 6 mois.
Le procureur a décidé de nous faire un rappel à la loi pour les modifications s non déclarés mais ne demandait pas la démolition de la maison, l'effondrement des murs n'étant pas de notre faute. Il a demandé qu'on déclare les modifs et que l'arreté suspensif de travaux soit annulé. on pouvait donc reprendre après mise à jour du permis.
Mais la DDE a refusé le permis modificatif sous pretexte qu'il s'agit d'une construction neuve...... aucun voisin ne se plaint, l'habitation ne cause aucune gene pour qui que ce soit, ni pour les paysans..... en l'état actuel, nous serions obligés de démolir .
qu'en pensez vous, quelle chance j'aurais devant un tribunal administratif ??? peut on demandé un recours gracieux devant le Préfet ??
merci pour vos reponses.