Родился в Вятке в семье железнодорожника, в 1918 вступил в Социалистический союз рабочей молодёжи и стал депутатом Совета рабочих, солдат и крестьян, в 1919 вступил в РКП(б).
С 1919 — на комсомольской работе в Перми, Верхнеуральске, в 1920 возглавлял Сиббюро ЦК РКСМ. В 1921—1925 член ЦК РКСМ, секретарь Юго-Восточного бюро ЦК, член бюро и заведующий отделом ЦК РКСМ. Был самым молодым делегатом I съезда Советов ССР в 1922. С 1925 — секретарь ЦК РКСМ, член Президиума Исполкома КИМ. В 1927—1928 — первый секретарь ЦК ЛКСМ Украины. В 1928—1929 годах — генеральный секретарь ЦК ВЛКСМ.
В 1931 заведующий сектором партийного строительства ЦК ВКП(б). В 1932—1938 на руководящей работе в золотопромышленности, где прошёл путь от директора Забайкальского предприятия «Балейзолото» до начальника главного управления «Союззолото».
Репрессирован в 1938, более 16 лет находился в заключении сначала в Норильском, а затем в Магаданском лагерях[1]. В 1954 был реабилитирован одним из первых и восстановлен в партии со стажем с 1919 года.
Жена — Мария Ильинична Мильчакова (урожд. Гимпельсон, в первом браке Лившиц; 1899—1984), преподаватель Московского текстильного института.
Дочь — Галина Мильчакова (в замуж. Чаплина; 1928—2008), окончила Московский педагогический институт им. Ленина и философский факультет МГУ. Преподавала словесность в московских школах, работала несколько лет преподавателем русского языка и литературы в Ханое, была награждена орденом Дружбы Вьетнама. Муж — партийный деятель и дипломат Борис Чаплин.
Внучка — Светлана Борисовна Чаплина (род. 1958)
Сын Александр Мильчаков (1931—2004) — журналист, правозащитник[4][5]. Его жена — Нина Денисовна Зверева, историк.
Внучка — Наталья Александровна Мильчакова (род. 1969)
Старший брат Алексей Мильчаков (1900—1966) — русский поэт, писатель, редактор.