Changement destination, grenier en appartement

Bonjour,

Après de long mois d'attente et de négociation, je me suis rendu aujourd'hui même chez le notaire pour acquérir un grenier et deux places de parking dans une petite copropriété de 5 appartements.

Les deux lots qui composent le grenier appartiennent à Monsieur D. qui est propriétaire de deux appartements, les places de parking à Monsieur P. qui est propriétaire d'un appartement. Le permis de construire a été accepté en mairie depuis plusieurs mois.

Le notaire à refuser de procéder à la vente car selon lui il doit y avoir l'accord de tous les copropriétaires car il s'agit d'un changement d'affectation, ce sur quoi notre agent immobilier n'est pas d'accord car selon lui il faut uniquement cette accord uniquement si la nouvelle affectation est contraire à celle de l'immeuble.

J'ai dit au notaire que j'étais prêt à courir le risque de signer et que la copropriété refuse (j'ai déjà rencontrer les 4 copropriétaires, tous sont d'accord), mais celui-ci n'a rien voulu savoir et à repousser la vente de deux semaines le temps que cette réunion se fasse.

J'ai trouvé cette article sur le site du service public mais je ne le comprends pas vraiment.

-Qui du notaire ou de l'agent a raison?
-Dans tous les cas le notaire n'aurait-il pas dû nous prévenir avant le jour du rendez-vous?, car certains ont posé un jour de congé pour être présent et j'ai déjà versé l'argent qui m'aurai rapporté 60€ d'intérêt, étant sans emploi cette somme n'est vraiment pas négligeable pour moi.

Merci à ceux qui prendront le temps de me répondre.