L'intesa con Jackson sarebbe durata anche più a lungo, ma la carriera politica di Eaton venne compromessa dal suo secondo matrimonio:[4] morta la prima moglie nel 1815, nel 1829 si era risposato con Margaret O'Neill, vedova del marinaio John B. Timberlake, un amico di Eaton morto poco prima durante una crociera nel Mediterraneo (forse suicida); l'alta società americana si scandalizzò per la velocità del matrimonio tra la vedova e Eaton, accusandoli di essere stati amanti e ostracizzandoli dalla vita sociale di Washington. L'amministrazione Jackson quindi si spaccò, e Eaton, nonostante il sostegno del presidente, dovette rassegnare le dimissioni dopo due anni.[1][2][3] La crisi venne esacerbata dal vicepresidente John C. Calhoun, principale nemico di Jackson che sfruttò lo scandalo di Eaton per mettere in cattiva luce l'operato del presidente.[4]
Fallita la rielezione al senato nel 1834, Jackson lo compensò col governo del Territorio della Florida fino al 1836, quando lo nominò ambasciatore statunitense in Spagna.[1][2][4] Nel 1840 fu richiamato in patria da Martin Van Buren; nello stesso anno un furioso litigio sulla ricandidatura di Van Buren, coinvolto anch'egli nello scandalo del 1829-31,[2] fu causa di una rottura totale con Jackson, e Eaton passò quindi al rivale Partito Whig, dove rimase fino alla morte nel 1856.[1] L'amicizia con l'ex-presidente venne ricomposta solo nel 1845, poco prima della morte di Jackson.[3]