Fu coinvolto nei fatti della cospirazione mazziniana di Mantova del 1852, arrestato nella sua villa di Canicossa di Marcaria nella notte del 16 giugno 1852, fu uno dei pochi che non confessò mai e, per questo sfuggì alla pena di morte, ma fu condannato da parte della magistratura militare austriaca a 18 anni di carcere duro, condonati poi nel 1856. Scontò quattro anni di galera in parte nelle carceri di Josefstadt e di Theresienstadt presso Praga. Liberato il 2 dicembre 1856, fu uno dei principali accusatori di Luigi Castellazzo che additò sempre come il traditore dei congiurati mantovani, detti i martiri di Belfiore.
Fu al fianco nuovamente di Garibaldi nella spedizione in Sicilia curandone gli aspetti economici. Fu infatti insieme con Enrico Besana, alla direzione del Fondo per il milione di fucili, e procurò i vapori necessari alle spedizioni di Giacomo Medici ed Enrico Cosenz che si unirono ai "Mille" già sbarcati in Sicilia.
Giuseppe Finzi venne eletto deputato al Parlamento dal 25 marzo 1860 per il collegio di Viadana. Conservò il mandato parlamentare fino alle elezioni del 1882, venendo eletto in vari collegi: Milano V, Borghetto Lodigiano, Bologna e Pesaro.
Alessandro Luzio, I martiri di Belfiore e il loro processo, Tipografia Editrice L. F. Cogliati, Milano 1908.
Simonetta Bono, Luigi Castellazzo e i processi di Mantova del 1852-53 alla luce di alcuni documenti, in Rassegna Storica del Risorgimento, 43, 1956, n° 1, gennaio-marzo.
Giuseppe Solitro, Dopo Belfiore e la laurea di Luigi Castellazzo, Rassegna Storica del Risorgimento, 1936.
Costantino Cipolla, Belfiore, Franco Angeli editore, Milano 2006.