Batiment de france, permis de construire

Bonjour 

Ma femme et moi avons trouvé enfin un terrain pour notre maison future, nous avons réalisé les plans nous même et passons par un maître d'oeuvre. A ce jour, nous sommes au lancement (mise en route) de la maison, un accord de principe bancaire ayant été accordé. 

Hier nous sommes passés en mairie pour réserver notre terrain, on nous a dit que le terrain était situé en zone bâtiment de France et que l instruction du permis de construire pouvait prendre plus de temps que deux mois.

Le début du lotissement se trouve bien a moins de 500m de notre chateau classé, mais néanmoins notre terrain se trouve a 550/600m du chateau. L instruction au batiment de france est t elle toujours d'actualité dans ce cas précis ? 

Merci d'ores et déja pour vos réponse !