Quando Fraunhofer rimase orfano all'età di 11 anni, iniziò a lavorare come apprendista presso un vetraio di nome Philipp Anton Weichelsberger.
Nel 1801 il negozio in cui lavorava crollò e Fraunhofer rimase sepolto sotto le macerie. L'operazione di salvataggio fu condotta da Massimiliano IV Giuseppe, principe elettore di Baviera, (il futuro Massimiliano I di Baviera). Da quel momento il principe entrò nella vita di Fraunhofer, aiutandolo a procurarsi i libri e costringendo il suo datore di lavoro a tollerare i suoi studi.
Dopo otto mesi di studio, Fraunhofer andò a lavorare all'Istituto di Ottica nell'abbazia di Benediktbeuern, un monasterobenedettino sconsacrato dedicato alla fabbricazione del vetro. Qui scoprì come creare il miglior vetro ottico ed inventò un metodo incredibilmente preciso per misurare la dispersione ottica. Nel 1818 divenne il direttore dell'Istituto. Grazie agli ottimi strumenti che aveva sviluppato, la Baviera sostituì l'Inghilterra come centro delle industrie ottiche.
Nel 1814 Fraunhofer inventò lo spettroscopio e fu il primo ad investigare seriamente sulle righe di assorbimento nello spettro del Sole, che vennero esaurientemente spiegate da Kirchhoff e da Bunsen nel 1859. Le righe sono ancora oggi chiamate linee di Fraunhofer in suo onore.
Francobollo dedicato a Joseph von Fraunhofer
Inventò, inoltre, il reticolo di diffrazione e in questo modo trasformò la spettroscopia da arte a scienza, dimostrando come misurare esattamente la lunghezza d'onda della luce. Fu il primo a notare che gli spettri di Sirio e di altre stelle brillanti erano diversi tra loro e da quello del Sole, dando inizio alla spettroscopia stellare.
La sua illustre carriera gli fece guadagnare un dottorato onorario dall'Università di Erlangen nel 1822. Nel 1824 fu insignito dell'ordine al merito, divenne nobile e gli venne concessa la cittadinanza onoraria di Monaco. Come molti altri fabbricanti di vetro di quell'epoca, avvelenati dai vapori di metalli pesanti, ai quali erano continuamente esposti durante la lavorazione, Fraunhofer morì giovane, nel 1826 all'età di 39 anni per tubercolosipolmonare o, forse, più verosimilmente, per i vapori letali inalati. Venne sepolto all'Alter Münchner Südfriedhof (Antico Cimitero Meridionale di Monaco). Sulla sua tomba è incisa la scritta Aproximavit sidera (Avvicinò gli astri).