Fils de John et Mildred Speshock, ouvriers d'origine ukrainienne par son père et irlandaise par sa mère, John Spencer naît à New York et grandit à Totowa dans le New Jersey[1].
En 1983, John Spencer joue dans la scène du début du film Wargames de John Badham, dans le rôle du chef de poste de l'abri souterrain des missiles intercontinentaux, aux côtés de Michael Madsen.
En 1995, il joue dans la comédie romantique Forget Paris de Billy Crystal. La même année, il participe aux scènes filmées du jeu vidéo Wing Commander IV - Le prix de la liberté, dans le rôle du capitaine Hugh Paulsen. Dans Rock (1996), il interprète le rôle du directeur du FBI James Womack.
En 2002, il participe à la production théâtrale The Exonerated, parallèlement à son personnage dans la série À la Maison-Blanche.
Vie privée et mort
John Spencer a été marié puis divorce dans les années 1970[1].
Il a reconnu avoir été alcoolique et toxicomane, et a pris du réconfort dans son hobby, le jardinage[1].
Il meurt le à l'Olympia Medical Center de Los Angeles des suites d'une attaque cardiaque, quatre jours avant son 59e anniversaire[1]. Il n'a pas de descendants immédiats[1].
Après deux nominations, il remporte en 2002 un premier Emmy Award pour son interprétation de Leo McGarry dans la série À la Maison-Blanche. Les épisodes utilisés par les votants des Emmy étaient l'épisode « Bartlet pour l'Amérique », dans lequel Leo doit témoigner devant une commission du Congrès au sujet de la santé du président, avec des flashbacks sur ses propres erreurs passées, et l'épisode « On a tué Yamamoto ».