Isolation de fenêtres existantes

Bonjour,
Je viens de découvrir avec effroi que les 10 fenêtres de ma maison PVC double vitrage sont posées comme en lévitation sur l ancien bâti en bois. Sur les côtés des fenêtres pas trop de soucis mais sur la partie basse et haute de chaque fenêtre il y a un espace complètement vide sans isolation du tout. Les cavités sont juste masquées par des caches PVC. Ce qui fait que moins de 1 cm de plastique me sépare entre l' extérieur et l intérieur ! Dessus et dessous la fenêtre c est évidemment très froid. Pour donner une idée du gouffre sous chaque fenêtre j ai glissé une serpillière double gaufrée et il y a encore de la place
Ce n' est pas moi qui ai fait faire ces travaux qui datent de 1996. Évidemment la garantie décennale est terminée et je ne pourrais guère me retourner contre le vendeur que dans le cadre de vices cachés puisque le cache plastique comme son nom l'indique cachait la catastrophe...Ceci étant un autre problème.
Je ne sais pas quoi mettre dans ces cavernes, pour essayer d arrêter de chauffer l air dehors. La mousse polyuréthane était bien mon idée première mais c est fait pour les petits trous...Je chauffe à l électricité et ma maison comporte une isolation extérieure .Merci de vos avis et de votre aide. Je suis une assez bonne bricoleuse.