Isoler ou ne pas isoler

Bonjour à tous,

Nous sommes en pleine réflexion concernant l'isolation de notre maison et le remplacement de notre système de chauffage.
Nous avons fait faire plusieurs devis pour l'isolation (murs intérieurs et extérieurs, plancher bas), et le remplacement de notre chaudière à fioul. Cette dernière fonctionne parfaitement mais est des années 90.
Nous avons une grande maison de deux étages de 115m2. Le second est inhabitable pour le moment.
Il y a aussi un garage de la même surface. C'est une maison des années 70.

Avec l'aide de rénovation énergétique globale on a fait faire des devis.
On pourrait envisager d'isoler murs intérieurs et extérieurs. Egalement isoler le plancher bas du garage. Les combles sont déjà isolées et on a quasiment remplacés tous les vitrages (en cours).
On a aussi un devis pour des panneaux solaires pour l'eau chaude.
Pour avoir l'aide financières on est obligé de changer notre chaudière fioul.

On doit finaliser le dossier pour faire venir ensuite un architecte pour le DPE (payant, 2000euros remboursable si on va au bout de la démarche). Le soucis c'est que même avec les aides, si on fait tout ça et qu'il y a de grosses aides financières le reste à charge nous prend toutes nos économies. Et on a plein de travaux encore à faire..

Alors voilà : isoler les murs est-ce vraiment prioritaire ? A savoir qu'on se chauffe au minimum. Certes il fait pas hyper chaud chez nous...
On pourrait faire remplacer notre insert de cheminée également qui est vraiment pas terrible..
Si on ne fait que remplacer la chaudière, ça a un coût très important car beaucoup moins d'aides de l'état. Mais ces aides vont et viennent. Ca changera encore à l'avenir.

On a quand même un gros problème de moisissure dans notre salle de bain à traiter. En installant une VMC et peut-être en isolant juste ce côté ça pourrait régler le pb?

Bref, en gros pas envie de laisser toutes nos économies dans des travaux pas indispensables. Je change d'avis sans arrêt. A savoir qu'on habite dans le sud ouest. Il fait donc plutôt bon et beau l'été et les hivers ne sont pas très rudes. Mais on chauffait plus dehors que dedans. Avec l'isolation des combles et le doubles vitrages c'est surement un peu mieux.

C'est un gros dilemme. On est un peu perdu. 
Tout avis est le bienvenu.

Merci pour votre lecture.