Rutherford nacque a Brightwater, in Nuova Zelanda. Studiò al Nelson College e al Canterbury College, conseguendo tre diplomi, con due anni di ricerche nella tecnologia elettrica.
Sua la famosa affermazione "Nella scienza esiste solo la Fisica; tutto il resto è collezione di francobolli". Nel 1898 gli fu assegnata proprio la cattedra di fisica alla McGill University, in Canada. Qui, a partire dal 1900, iniziò in collaborazione con Frederick Soddy lo studio che gli avrebbe fruttato nel 1908 il Premio Nobel per la chimica, dimostrando che la radioattività era la spontanea disintegrazione o trasmutazione degli atomi. Aveva notato che in un campione di materiale radioattivo occorreva invariabilmente lo stesso tempo ("tempo di dimezzamento") perché metà del campione decadesse, e ideò una applicazione pratica di questo fenomeno usando questo tempo costante di decadimento come un orologio, il quale poteva quindi essere usato per determinare l'età effettiva della Terra: essa si rivelò molto più vecchia di quanto la maggior parte degli scienziati dell'epoca ritenesse.
Nel 1907 ebbe la cattedra di fisica alla Victoria University di Manchester. Qui, sotto la sua supervisione, furono condotti da Hans Wilhelm Geiger e Ernest Marsden esperimenti di bombardamento di sottili lamine d'oro tramite particelle alfa che si mostrarono fondamentali per lo studio della struttura della materia. Studiando la deflessione delle particelle alfa Rutherford ipotizzò la presenza, all'interno dell'atomo, di una forte concentrazione di materia in un volume molto piccolo, ovvero il nucleo, giungendo nel 1911 alla formulazione del modello atomico che ancora oggi prende il suo nome. Nel 1919 svolse altri esperimenti bombardando azoto mediante particelle alfa e osservando l'emissione di singoli nuclei di idrogeno. Rutherford interpretò questi risultati come evidenza della disintegrazione di atomi. Solo nel 1932 Patrick Blackett dedusse che l'emissione di un protone avveniva in effetti in concomitanza con la trasmutazione di un atomo di azoto in un isotopo dell'ossigeno, mediante la reazione nucleare
Mentre lavorava con Niels Bohr, Rutherford per primo ipotizzò l'esistenza di particelle nucleari neutre, i neutroni, che, aumentando le forze nucleari attrattive, potevano compensare l'effetto repulsivo delle cariche elettriche positive dei protoni, impedendo così ai nuclei degli atomi pesanti di disintegrarsi.