La sua prolificità nel dare la caccia alle comete lo ha portato a scoprire l'ultima all'età di 79 anni. Durante la sua esistenza è riuscito a vedere la cometa di Halley per ben due volte, a distanza di 76 anni.
Oltre alle comete, Swift ha scoperto centinaia di nebulose. Nel 1878 credette, ma erroneamente, di aver visto due pianeti tipo Vulcano, con orbita interna a quella di Mercurio.
A patrocinare il suo lavoro fu l'uomo d'affari Hulbert Harrington Warner, che finanziò la costruzione di un osservatorio (Warner Observatory) per permettere le osservazioni di Swift. Warner andò in bancarotta a seguito della grave crisi che si registrò nel 1893, la quale pose fine ai finanziamenti, condannando l'osservatorio all'abbandono e costringendo Swift a spostarsi in California dove divenne il direttore dell'Osservatorio di Mount Lowe.
Si sposò due volte, in prime nozze con Lucretia Hunt nel 1850 e in seconde nozze con Carrie D. Topping nel 1864.