Frasen "Millions for defense, but not one cent for tribute" har ofta felaktigt påståtts ha varit Charles Cotesworth Pinckneys svar på Frankrikes krav på tribut. Det officiella amerikanska svaret på de franska agenternas krav lydde "Not an eightpence." Agenterna kallades i offentligheten X, Y och Z, varför affären blev känd som XYZ-affären. Den amerikanska delegationen som gav det nekande svaret bestod av Pinckney, John Marshall och Elbridge Gerry. Orsaken till att Harper sedan yttrade den mera kända frasen var att han i egenskap av ordförande i det mäktiga skattepolitiska utskottet United States House Committee on Ways and Means hade mottagit diplomaternas rapport om hur de hade handskats med företrädarna för Frankrike. Det var Harpers sätt att berömma Pinckney och de andra diplomaterna för att ha försvarat USA:s intressen.
Harper besegrades av demokrat-republikanenWilliam Butler i kongressvalet 1800. Efter valförlusten flyttade han till Maryland. Samuel Smiths mandatperiod i senaten löpte ut i mars 1815 men Marylands lagstiftande församling kunde inte enas om en efterträdare. Butler blev sedan invald i senaten i januari 1816. Han avgick senare samma år och efterträddes av Alexander Contee Hanson.
Harper fick tre elektorsröster från Delaware i valet av vicepresident i samband med presidentvalet i USA 1816. Federalisternas huvudsakliga vicepresidentkandidat i det valet var John Eager Howard. En elektor från Maryland röstade sedan på Harper i valet av vicepresident i samband med presidentvalet i USA 1820. Ämbetsinnehavarna James Monroe och Daniel D. Tompkins hade inga egentliga motkandidater i det exceptionella presidentvalet då USA i praktiken var en enpartistat. Monroes tid som president kallades Era of Good Feelings som betecknade bristen på opposition. I presidentvalet 1820 fanns det en trolös elektor och i vicepresidentvalet fanns det fjorton, av vilka en röstade på Harper trots att ha röstat på Monroe i presidentvalet.