Fils d'un fermier, il est diplômé en 1909 après sept ans d'étude. En 1911, Diehm s’enrôle dans l'armée et participe à la Première Guerre mondiale à partir d'août 1914. En janvier 1919, Diehm rejoint les Freikorps pendant deux ans puis rejoint la Reichswehr. De 1922 à 1925, il fréquente l'école militaire et travaille ensuite jusqu'en 1929 dans l'agriculture. D'octobre 1926 à janvier 1928, Diehm fréquente le Stahlhelm. Après l'interdiction du parti, il rejoint le NSDAP en 1930 (numéro de membre 212 531). Diehm devient également membre de la SA au début de mars 1928 avant de rejoindre la SS en mars 1932 (numéro de membre 28 461).
Dans son village natal de Rottenacker, il fonde le groupe local du NSDAP. Il est à partir de 1929 adjudant dans le sous-groupe SA-Untergruppe Württemberg et à partir de 1931, leader du groupe SA-Gruppe Südwest. Du au , il est membre du parlement de l'État de Wurtemberg. En 1933, il est membre de la 9e et de la 11e législature du Reichstag du NSDAP pour la circonscription de Baden. Promu SS-Oberführer en 1932, il est de mars 1932 à juillet 1933 chef de la section SS-Abschnitts X, de la mi-juillet 1933 à la mi-mars 1936 chef de la section SS-Abschnitts XIX et à la mi-mars 1936 chef de section SS-Abschnitts I. Le , Diehm devient chef de la section SS-Oberabschnitts West.
Seconde Guerre mondiale
Après le déclenchement de la Seconde Guerre mondiale, Diehm est de la fin septembre 1939 au début de janvier 1942, officier de police en chef à Gdynia, puis à Sarrebruck / Metz. Le , Diehm est transféré au poste de chef supérieur des SS et de la police, remplaçant Hans-Adolf Prützmann. Il opère du à la fin février 1944 en tant que Höhere SS- und Polizeiführer à Shitomir. De la fin d'août 1944 à septembre 1944, Diehm fut brièvement commandant de la 29e Waffen-Grenadier-Division de la SS. En novembre 1944, Diehm est transféré à un hôpital militaire à Berlin après avoir été blessé au combat. À partir de janvier 1945, il est inspecteur de la section Sud-Ouest du Volkssturm et membre du personnel supérieur de cette organisation paramilitaire. En avril / mai 1945, il est chef de la SS et de la police à Salzbourg. Il participe à la bataille de Vienne en commandant des troupes dans la 6e armée jusqu'à sa capture le par les soviétiques.
Après-guerre
Diehm fut libéré neuf ans plus tard, à la mi-janvier 1954. Il retourna en Allemagne, redevenant un citoyen de Zuffenhausen. Il travailla comme fermier jusqu'à sa mort. Il ne fut jamais poursuivi après la guerre pour le meurtre de juifs traqués par ses troupes dans les bois de Galicie en juin 1944.
Dieter Pohl: national-Socialiste de la Persécution des juifs en Ostgalizien, 1941-1944. Oldenbourg, Munich, 1997, (ISBN3-486-56233-9).
Thomas Sandkühler: la solution finale en Galice. Des Juifs dans l'est de la Pologne et de la Rettungsinitiativen de Berthold Beitz 1941-1944. Dietz Successeur, Bonn, 1996, (ISBN3-8012-5022-9).