Jean und Aino Sibelius zogen mit ihren drei Töchtern und einem Dienstmädchen nach Ainola um. Dem Dienstmädchen konnten sie nur ein Zimmer von ca. fünf Quadratmeter zur Verfügung stellen.

Die Kinder waren noch recht klein: Eva 11 Jahre, Ruth 10 und Katarina knapp zwei Jahre alt. Die ersten Jahre besuchten sie keine Schule, sondern wurden von ihrer Mutter unterrichtet. Sie bewohnten das Erdgeschoss mit einer Wohnfläche von etwa 190 Quadratmetern. Erst nach sieben Jahren wurde zusätzlicher Wohnraum geschaffen, indem die Räume des Obergeschosses zum Wohnen eingerichtet wurden. Nach der Erweiterung der Küche und des Dienstmädchenzimmers erhöhte sich die beheizte Wohnfläche auf über 330 Quadratmeter. Zu dieser Zeit waren auch die zwei jüngsten Töchter von Sibelius schon geboren: Margareta 1908 und Heidi im Sommer 1911, als die Renovierungsarbeiten im Obergeschoss im Gang waren.

Erik Tawaststjerna stellt in seiner Sibelius-Biographie fest, dass Ainola „eine hölzerne Symphonie“ sei. Nach dem Umzug 1904 sah „die Symphonie“ allerdings anders aus als heute, was eine zeitgenössische Zeichnung auch deutlich dokumentiert.

Weihnachtsnummer 1904 der Zeitschrift "AIKA": Ainola im ersten Schnee des Winters, vom Hof aus gesehen. Eva oder Ruth schiebt den Schlitten, das Kind im Schlitten ist wahrscheinlich die kleine Katarina.

Das Obergeschoss war ein uneingerichteter Dachboden und Licht kam nur durch die kleinen viereckigen Fenster herein. Ainola hatte die Farbe seiner Holzbalken. Es bekam seine helle Bretterverschalung erst ca. 10 Jahre später. Das Schindeldach wurde 1932 mit roten Ziegelsteinen überdeckt.

Der Eingangsvorbau des Hauses war noch klein. Die Giebelwand auf der Hofseite war gerade, weil die Küche und das Dienstmädchenzimmer noch klein waren. Die Tür zur Küche ging auf den Hof hinaus. An der östlichen Ecke des Hauses gab es eine überdachte Veranda, auf die man durch den Vorraum zur Küche kam. An der Stelle der ehemaligen Veranda findet sich heute die Waschecke des letzten Schlaf- und Arbeitszimmers von Sibelius sowie eine zweite Treppe ins obere Stockwerk.