بينما كان طالبا في مدرسة «دويت كلينتون الثانوية» العامة في برونكس، التحق بدورات لتعلم الموسيقى في جامعة نيويورك. واصل دراسته في مدرسة جوليارد للموسيقى، وفي الثلاثينات الميلادية كان واحدا من مجموعة من الملحنين الشباب المرتبط بالملحن تشارلز آيفز.
في عام 1934 عمل هرمان لدى إذاعة سي بي إس كملحن وموزع وقائد أوركسترا. وهناك عمل أيضا في برنامج الإذاعة المعروف «مسرح ميركوري» الذي كان يذاع على الهواء ويخرجه أورسون ويلز، حيث ألف للبرنامج موسيقى بأساليب متنوعة لزيادة التأثير الدرامي لتلك المسرحيات الإذاعية. عندما وقع أورسن ويلز عقدا لإخراج فيلمه الأول (المواطن كين) في عام 1939، أحضر معه العديد ممن شاركه في ذلك البرنامج الإذاعي، وكان هيرمان من ضمنهم، ما أدى إلى انطلاق هرمان في مهنة الموسيقى السينمائية.
كما قاد هيرمان مجموعة متنوعة من موسيقى الحفلات، أشهرها الإعداد الأوبرالي لرواية مرتفعات ويذرنغ. لكن طوال حياته المهنية، ظلت موسيقى السينما والتلفزيون هي المحور الأساسي لنشاطه الإبداعي. توفي هيرمان في عام 1975، بعد يوم واحد فقط من انتهاءه من تلحين فيلم سائق التاكسي (1976) للمخرج مارتن سكورسيزي.