Герцог народився у 1934 році у Баварському місті Ландсгут в сім'ї протестантів. Здобув юридичну освіту в Мюнхені у 1957 році та деякий час працював помічником в Мюненськом університеті. У 1966 році очолив кафедру державного права у Вільному університеті Берліна (1966—1969). У 1969—1973 — професор державних наук та політики в вищому навчальному закладі адміністративних наук у місті Шпаєр, у 1973 був обраний уповноваженим землі Райнланд-Пфальц при федеральному уряді. В 1978—1980 — міністр культури та спорту землі Баден-Вюртемберг. У 1983—1987 роках заступник голови Федерального конституційного суду ФРН в Карлсруе, а в період з 1987 по 1994 рік обіймав посаду президента цього суду. 1 липня1994 року був вибраний на пост федерального президента Німеччини та займав цю посаду до 1999 року, коли на цій посаді його змінив Йоганнес Рау.
3—6 лютого 1998 року відвідав Україну з державним візитом, де мав зустрічі з тодішніми керівниками України президентом Кучмою і прем'єр-міністром Пустовойтенком, брав участь у підписанні міждержавних українсько-німецьких документів.
