Taube avlade kansliexamen i Uppsala 1877, en examen som var nödvändig för att inträda i statstjänst. 1878 blev han löjtnant vid Livgardet till häst. Han inträdde därefter i tjänst vid utrikesdepartementet där han blev attaché 1879. Efter en snabb och plikttrogen tjänst inom UD blev han chef för dess politiska avdelning. Under en kort tid var han tillförordnad kabinettssekreterare under den ordinarie kabinettssekreteraren August Gyldenstolpes frånvaro.
Taube var kabinettssekreterare i utrikesdepartement och blev år 1900 major i armén. Åren 1900–1909 var han Sveriges envoyé i Berlin och var därvid även ackrediterad vid hoven i Bayern, Sachsen och Baden.
Som utrikesminister 1909–1911 var han starkt protyskt inriktad och ivrade för stärkt militärt samarbete mellan Sverige och det tyska kejsardömet för att möta ett eventuellt hot från Ryssland. Under hans tid som utrikesminister initierades generalstabssamtalen mellan den svenske generalstabschefen Knut Bildt och hans tyske motsvarighet Helmuth von Moltke d.y. Inom regeringen hade enbart Taube och statsminister Arvid Lindman kännedom om dessa kontakter. Samtalen rann dock ut i sanden när Sverige inte ville binda sig till att inträda på Tysklands sida vid ett eventuellt krig.
Riddare och kommendör av Kungl. Maj:ts orden (Serafimerorden), 6 juni 1910 (riddare av Kungl. Nordstjärneorden 1 december 1891, kommendör 1 december 1898, kommendör av 1 klassen 1 december 1900, kommendör med stora korset 29 april 1908) .[6]