Fils du général August Alexander Järnefelt et d'Elisabeth Järnefelt (née Clodt von Jürgensburg), ses frères et sœurs sont Kasper, Arvid, Erik, Ellida, Ellen, Hilja Sigrid et Aino. Cette dernière a épousé le compositeur Jean Sibelius, un ami très proche d'Armas Järnefelt et son beau-frère.
Armas Järnefelt a introduit les opéras de Richard Wagner en Finlande en les dirigeant à de nombreuses reprises.
La première épouse de Armas Järnefelt fut la soprano Maikki Järnefelt entre 1893 et 1908, et sa seconde épouse fut la chanteuse d'opéra Olivia Edström à partir de 1910.