Problème compromis de vente pour un terrain

bonjour, on a besoin de votre aide! il y a un an de ça, on a signé un compromis de vente pour un terrain avec une agence immobilière et que pendant un an on n'a pas eu de cu positif. Seulement, voilà le compromis n'est plus valable(1 an passé) et que nous avons reçu le cu positif enfin!;( nous avions fait les démarches auprès de la mairie et DDE etc.). et pendant ces 1 an pas de nouvelle de l'agence donc maintenant nous voulons signer un nouveau compromis de vente pour le même terrain sans l'agence immo ; seulement avec le proprio du terrain et le notaire bien sûr, mais voilà le notaire nous prévient que si on signe sans l'agence , ils peuvent demander recours devant la commission .Donc ma question est :que risquons nous si on signe l'acte définitif sans l'agence immo?