Johnny Sheffield est le fils de Reginald Sheffield, un acteur britannique, qui avait émigré avec sa famille à New York en 1914.
En 1938, à 7 ans, Sheffield joue au théâtre le rôle de Pud, dans la pièce de Paul OsbornOn Borrowed Time, d'abord à Los Angeles puis à Broadway[1],[2]. La même année, il joue aussi le fils de Napoléon dans un court-métrage historique de la M-G-M[1].
Lorsque Metro-Goldwyn-Mayer passe une annonce pour trouver un jeune garçon susceptible de jouer le "fils" de Tarzan, Reginald Sheffield y répond et son fils passe une audition au milieu de 300 jeunes. Il est choisi par Johnny Weissmuller mais il ne sait pas nager... Il l'avoue à J. Weissmuller qui le fait plonger dans une piscine mais le retient avec ses genoux, faisant ainsi croire au studio qu'il n'y a pas de problème de ce côté-là[3].
Il jouera ainsi dans huit films de Tarzan mais, même si les derniers sont de grands succès, il est maintenant un adolescent presque aussi grand que J. Weissmuller. Il signe alors avec Monogram Pictures, le studio de Poverty Row, pour tenir le rôle-titre de Bomba, The Jungle Boy (1949), rôle qu'il reprendra dans une série de films réalisés par Ford Beebe.
Sheffield entre à l'UCLA où il obtiendra un diplôme en commerce, et déménage à Yuma (Arizona). Il travaillera ensuite dans l'immobilier en Californie à Malibu et à Carmel, puis dans une entreprise important des homards de Baja California, et enfin deviendra un entrepreneur en bâtiment à San Diego[3].
Johnny Sheffield meurt d'une crise cardiaque chez lui à Chula Vista le , après être tombé quelques heures plus tôt d'une échelle alors qu'il était en train de tailler un palmier[3].