Harry James è stato uno strumentista di grande rilievo dell'era swing, con uno stile e un virtuosismo che hanno reso inconfondibile il suo modo di suonare la tromba.
Nato ad Albany, in Georgia, era figlio del direttore di banda di un circo itinerante. Dall'età di 10 anni prese lezioni di tromba da suo padre, che gli pianificò rigorosi esercizi quotidiani. Ogni giorno Harry doveva imparare una pagina dal libro del "metodo Arban" e non gli era concesso nessun altro passatempo fino a quando non avesse imparato quella determinata pagina. Nel 1931 la famiglia si stabilì a Beaumont in Texas, dove il quindicenne Harry iniziò a suonare con orchestre da ballo locali. Si unì alla band di Ben Pollack nel 1935, ma all'inizio del 1937 lasciò Pollack per unirsi all'orchestra di Benny Goodman, dove rimase fino al 1938.
Nel febbraio 1939 James debuttò con la propria big band a Philadelphia, in Pennsylvania.
La sua hit You Made Me Love You fu tra le prime 10 in classifica nel dicembre 1941.
Nel 1942 raggiunse la prima posizione nella Billboard Hot 100 con Sleepy Lagoon per quattro settimane.
Nel 1943 raggiunse la prima posizione nella Billboard Hot 100 con Helen Forrest con I Had the Craziest Dream per 2 settimane ed I've Heard That Song Before per 13 settimane.
Nel 1944 raggiunse la prima posizione nella Billboard Hot 100 con I'll Get By (As Long as I Have You) con Dick Haymes per 4 settimane.
Harry James nel 1942
Nel 1945 raggiunse la prima posizione nella Billboard Hot 100 con It's Been a Long, Long Time con Kitty Kallen per 4 settimane.
Rimase in tour con la sua band fino al 1980. La sua è stata la prima "name band" ad ingaggiare il cantante Frank Sinatra, nel 1939. Voleva cambiare il nome di Sinatra in 'Frankie Satin', ma Sinatra rifiutò. In seguito nella band entrò a far parte anche il batterista Buddy Rich.
È apparso in diversi film, per esempio nella parte di se stesso ne Il re del jazz (The Benny Goodman Story) e sue performance di successo hanno fatto parte di molte colonne sonore, tra le quali quella di Hannah e le sue sorelle di Woody Allen o The Aviator di Martin Scorsese, e quale autore il brano I'm Beginning to See the Light è compreso, tra gli altri, nelle musiche della saga di Matrix. Inoltre ha "doppiato" Kirk Douglas alla tromba nel film Chimere del 1950.
James si sposò tre volte. Il 4 maggio del 1935 si unì alla cantante Louise Tobin, da cui ebbe due figli. Divorziò nel 1943 e lo stesso anno prese in moglie l'attrice Betty Grable. Con la Grable ebbe due figlie, Vittoria e Jessica, prima di divorziare nel 1965. James si sposò una terza volta nel 1968 con la showgirl Joan Boyd dalla quale divorziò nel 1970.
Nel 1983 gli venne diagnosticato un cancro linfatico, ma continuò a lavorare esibendosi l'ultima volta il 26 giugno 1983, a Los Angeles, appena nove giorni prima di morire. Frank Sinatra ne pronunciò l'elogio funebre allo Eden Bunker Vale Memorial Park di Las Vegas.