Avis defavorable de la DDTM pour permis de construire

Bonjour et tout d'abord merci de m'acueuilir sur ce forum ! je vous explique mon probleme : j'ai acheté un terrain dans le centre du village avec une remise de 40 m2 en ruine que j'ai restauré en garage pour l'avenir positionné sur un ancien jardin maraîcher non viabilisé dans un cul de sac entre des vielles batisses enclavé, sans vis à vis.
Ce terrain et dans le PLU donc m'étant bien renseigné avant d'acheter pour construire, la réponse etait positive, du moment que je colle au PLU mais étant dans une zone des monument historiques (une croix plantée sur un bloc en pierre), il y avais quelques règles que jai respecté donc jai fais faire un bornage du terrain car le cadastre navait pas les bonnes mesures, puis j'ai réalisé la viabilisation du terrain puis fait faire un plan et une étude thermique BBC et déposer le permis en mairie.Le maire a validé dans l'heure et envoyé a la DDTM .
Je reçois la réponse : avis defavorable en me demandant de me raprocher du service architecture du CAUE, la raison étant que je suis dans le village et qu' il trouve que ma maison à rien a faire là et me suggère la rénovation de la remise et en réalisant une extention pour habitation (ce qui n'a rien avoir avec mon projet et qui nest absolument pas envisageable), le technicein de la DDTM stipule dans son avis que la zone des monuments n'a rien avoir avec la décision car la maison serait hors du champs visible de la croix .
je trouve cet avis arbitraire et ne sais pas trop quoi faire si le CAUE me pose souci ! à savoir tout un tas de projet immobiliers sociaux ont été realisés depuis un an contre le village et dans le village sans problèmes !
Merci de vos conseils et réactions. A savoir que ma maison principale a été vendu pour la réalisation de ce projet et cela a généré des frais jusque là, et si je ne peux pas réaliser ce projet, je vais perdre énormément d'argent...