Rohwedder è nato a Gotha, in Turingia.
Dopo essersi diplomato nel 1953 a Meldorf, ha studiato diritto e scienze politiche ad Amburgo e Mainz.
Nel 1961 ha conseguito il dottorato. Diventato comproprietario di una società di revisione contabile a Düsseldorf e iscrittosi al Partito Socialdemocratico, dal 1969 al 1978 è stato Segretario di Stato presso il Ministero Federale dell'Economia a Bonn.
Nel 1979 è stato nominato capo del gruppo siderurgico Hoesch di Dortmund, dove ha portato a termine con successo la ristrutturazione aziendale.
Rohwedder è stato insignito della Croce Federale al Merito e dell'Ordine al Merito dello Stato del Nord Reno-Westfalia (1990).
Omicidio
Questa voce o sezione sugli argomenti politici tedeschi e dirigenti d'azienda non cita le fonti necessarie o quelle presenti sono insufficienti.
Mentre era responsabile della privatizzazione della proprietà statale dell' ex-RDT, è stato assassinato da un cecchino mentre si trovava alla finestra della sua casa a Düsseldorf. Il gruppo militante di estrema sinistra della Germania occidentaleRote Armee Fraktion (RAF) ha rivendicato la responsabilità di questo atto, ma l'assassino non è mai stato identificato.[4][5] Alcuni commentatori, fra cui Hergard Rohwedder, sostengono che l’eliminazione di Rohwedder fu l’ultima operazione della Stasi, l'organizzazione di spionaggio formalmente disciolta della RDT.
Lunedì 1 aprile 1991, alle 23:30, Rohwedder è stato colpito e ucciso attraverso una finestra al secondo piano della sua casa nel sobborgo di Düsseldorf-Niederkassel (Kaiser-Friedrich-Ring 71) dal primo di tre colpi di fucile . Il secondo colpo ferì sua moglie Hergard; il terzo ha colpito una libreria presente nella stanza.
I colpi sono stati sparati da 63 m di distanza da un fucile di calibro standard 7,62×51 mm NATO, lo stesso fucile utilizzato durante l'attacco dei cecchini della RAF all'ambasciata americana a febbraio. Le indagini condotte sul luogo dello sparo hanno consentito il rinvenimento di tre bossoli, una sedia di plastica, un asciugamano e una lettera che rivendicava la responsabilità di un commando della RAF intitolato a Ulrich Wessel, una figura minore della RAF morta nel 1975. L'assassino non è mai stato identificato.
Nel 2001, l'analisi del DNA ha individuato che le ciocche di capelli dalla scena del crimine appartenevano al membro della RAF Wolfgang Grams. Il procuratore generale tuttavia non ha ritenuto queste prove sufficienti per formulare accuse formali di omicidio nei confronti di Grams.