Henry è nato ad Albany, New York, dagli immigranti scozzesi Ann Alexander Henry e William Henry. I suoi genitori erano poveri e il padre di Henry morì mentre era ancora giovane. Per il resto della sua infanzia, Henry visse con sua nonna a Galway, New York. Frequentò una scuola che in seguito sarebbe stata nominata "Scuola elementare Joseph Henry" in suo onore. Dopo la scuola, lavorò in un grande magazzino e all'età di tredici anni divenne un apprendista orologiaio e argentiere.
Il primo amore di Joseph fu il teatro e cominciò a studiare per diventare un attore professionista. Il suo interesse per la scienza è stato avviato all'età di sedici anni da un libro di conferenze su argomenti scientifici intitolato Popular Lectures on Experimental Philosophy. Nel 1819 entrò all'Accademia di Albany dove ricevette lezioni gratuite. Nonostante questo era così povero che dovette sostenersi con l'insegnamento e con il tutoraggio privato. Intendeva andare a medicina, ma nel 1824 fu nominato assistente ingegnere per il rilevamento della strada statale costruita tra il fiume Hudson e il lago Erie. Da quel momento in poi, è stato ispirato ad avviare una carriera nell'ingegneria civile e meccanica.
Henry eccelleva nei suoi studi (tanto che spesso aiutava i suoi insegnanti a insegnare scienze) e nel 1826 fu nominato professore di Matematica e filosofia naturale all'Accademia di Albany. Alcune delle sue ricerche più importanti sono state condotte in questa nuova posizione. La sua curiosità per il magnetismo terrestre lo portò a sperimentare con il magnetismo in generale. Fu il primo ad avvolgere strettamente il filo isolante attorno a un nucleo di ferro per realizzare un elettromagnete più potente, migliorando l'elettromagnete di William Sturgeon che usava un filo non isolato a spirale libera. Usando questa tecnica, costruì l'elettromagnete più forte in quel momento a Yale. Ha anche mostrato che, quando si crea un elettromagnete usando solo due elettrodi collegati a una batteria, è meglio avvolgere più bobine di fili in parallelo, ma quando si usa un set-up con più batterie, dovrebbe esserci solo una bobina lunga. Quest'ultima scoperta ha reso fattibile la creazione del telegrafo. A causa dei suoi primi esperimenti di elettromagnetismo, alcuni storici attribuiscono a Henry delle scoperte che precedono Faraday e Heinrich Rudolf Hertz ma, tuttavia, a Henry non viene attribuito alcun merito a causa della mancata pubblicazione del suo lavoro.
Le statue in bronzo di Henry e Isaac Newton rappresentano la scienza nella sala di lettura al Thomas Jefferson Building della Biblioteca del Congresso a Capitol Hill, Washington. Sono due delle 16 figure storiche rappresentate, ciascuna coppia rappresenta uno degli 8 pilastri della civiltà.