Accord du permis avec prescription ABF plus de 3 mois après depot

Bonjour à tous,
j'ai chercher vainement une réponse à notre problème mais je n'ai rien trouver, si ce post à déjà été poser je m'en excuse d'avance et désoler pour le pavé qui suit, mais je préfère être le plus claire possible.

nous avons trouver un terrain sur une petite commune, soumis au ABF (périmètre de 500m, porte de l'église classée) aucunes vues du terrain de l'église, construction moderne sur le terrain voisin. nous sommes aller rencontrer la Mairie a plusieurs reprises pour le permis. Dépôt du permis en date du 22/04, nous avons suivi le PLU à la lettre (nous avons changer les tuiles suite au PLU, la clôture ...).
j'ai contacter la Mairie fin Juillet car nous avions aucunes nouvelles du permis, le secrétaire de Mairie nous informe que le délai est dépasser et vu que nous n'avions reçu aucuns courriers ni de la Mairie ni de ABF le permis est accorder tacitement. super ! oui mais de courte durée.
il contacte le service instructeur pour délivrer rapidement le permis puisque nous arrivons à notre date limite du compromis de vente du terrain, il me recontacte pour confirmer que nous aurons un permis tacite dans la semaine. les jours qui passent en semaine sans nouvelles et après mainte péripéties et congé de la Mairie, nous contactons notre notaire pour l'informer de la situation. celui-ci contacte le service instructeur qui lui livre pas la même version. en effet, d'après eux la mairie aurait reçu un courrier des ABF pour des prescriptions. ce que nous réfute le secrétaire de Mairie. nous venons ce jour de recevoir (3 mois est 10 jours plus tard du dépôt) ACCORD AVEC PRESCRIPTION D'UN PERMIS DE CONSTRUIRE.

ils nous demande de changer la clôture, modifier les tuiles (qui ne nous conviens mais pas du tout, nous les avions déjà modifier et ceux demander ne sont pas inscrit dans le PLU, mes questions sont les suivantes :
- nous avons reçu aucuns courrier des ABF, ni Mairie durant l'instruction, est ce normal de recevoir l'accord avec prescription sans être notifié préalablement ?
- vu que le permis a été arrêter au 10/08 quel sont nos recours ?
- sommes nous obliger de suivre ses prescriptions, ou sont t elles des conseils et non des obligations ?
je vous remercie de m'avoir lu jusqu'au bout et de votre aide.