En 1950, Schmidt entre à l'université de Pittsburgh et intègre l'équipe de football de l'université. Il ne rate presque aucun match des Panthers lors de ces trois années à l'université.
Joueur
Lors du draft de 1953, Schmidt est sélectionné au septième tour par les Lions de Détroit. Lors de sa première années professionnel en NFL (rookie), il remporte le championnat de la NFL en 1953, effectuant même ses deux premières interceptions lors de cette saison.
En 1954, il effectue là aussi deux interceptions et est sélectionné au Pro Bowl, le premier d'une longue série. En 1955, il est le joueur ayant récupéré le plus de fumble de la saison avec huit. L'année suivante, il remporte son second titre de champion de la NFL. Joe continue à rester un élément important de la défense des Lions mais après la grève de 1960, il se blesse souvent. Lors d'un match amical le , il se fait une luxation de l'épaule et doit se retirer des terrains pendant six semaines.
Il fait son retour le contre les Eagles de Philadelphie où il marque le premier touchdown de sa carrière. Deux saisons plus tard, il est impliqué dans une affaire de paris sur le match de championnat NFL 1962 entre les Packers de Green Bay et les Giants de New York ; il reçoit une amende de 2000 $.
Après une saison 1965 très bonne avec quatre interceptions, il annonce la fin de sa carrière de joueur le et est nommé entraîneur adjoint des Lions de Détroit.
Entraîneur
À partir de 1966, Schmidt devient l'entraîneur adjoint des Lions. Il entraîne des joueurs tels que Mike Lucci ou encore Willie Hilgenberg. Du fait de tensions entre Harry Gilmer l'entraîneur et les joueurs, Joe est nommé au poste d'entraîneur.
Dès son arrivée à la tête de l'équipe, il met en place un couvre-feu et instaure la discipline dans l'équipe. Cela se solde par un 5-7-2 pour sa première saison en tant qu'entraineur en 1967.
Après une saison moyenne, Schmidt tente de recruter Jim Ninowski son ancien coéquipier avec les Lions mais la direction lui refuse ce transfert. Lors de la saison 1968, les fans huent Schmidt après que celui-ci a préféré jouer la montre contre les Packers de Green Bay alors que le score était de 20-20. La saison 1968 se termine par un triste 4-8-2.
Schmidt redresse la barre avec les Lions, terminant la saison 1969 avec 9-4-1. Le , il est arrêté en état d'ébriété après une victoire sur les Rams de Los Angeles.
En 1970, les Lions aligne un 10-4-0. Le , ils défont Los Angeles 28-23. Lors des Séries éliminatoires, ils sont battus par les Cowboys de Dallas dans un match défensif avec 5-0.
L'équipe retombe à un score de 7-6-1 en 1971 dans une saison marquée par la mort du wide receiverChuck Hughes, la saison 1972 voit une petite hausse avec 8-5-1. Après cette saison, le propriétaire William Clay Ford afflige l'équipe de lourdes critiques.
Le , Schmidt démissionne de son poste, affirmant que le poste d'entraîneur n'était plus amusant. Il est élu au Pro Football Hall of Fame en 1973.