Goldsborough studerade juridik och inledde 1886 sin karriär som advokat i Cambridge, Maryland. Han tjänstgjorde som Marylands chefsrevisor (Comptroller of Maryland) 1898–1900.[1]
Goldsborough besegrade den sittande senatorn William Cabell Bruce i senatsvalet 1928. Han ställde inte upp för omval i senatsvalet 1934. Han kandiderade istället i republikanernas primärval inför guvernörsvalet i Maryland 1934. Han förlorade mot Harry Nice som sedan vann själva guvernörsvalet.[4]
Goldsborough var anglikan. Han gravsattes på Christ Episcopal Church Cemetery i Cambridge, Maryland.[5]