Ansporn für die Komposition des Marsches war ein Gespräch mit Chester A. Arthur, dem 21. Präsidenten der Vereinigten Staaten, das Sousa als damaliger Kapellmeister der United States Marine Band führte. In diesem Gespräch brachte Arthur zum Ausdruck, dass ihm der offizielle Präsidialsalut der Vereinigten Staaten, Hail to the Chief, nicht gefallen würde. Sousa merkte an, dass Hail to the Chief ein altes schottisches Bootsfahrerlied sei, worauf Arthur Sousa vorschlug, eine angemessenere Komposition für das Präsidialamt anzufertigen.[1][3] Der Bitte entsprechend komponierte Sousa zwei Werke: Presidential Polonaise (1886) und zwei Jahre darauf Semper Fidelis (1888). Als Präsidialsalut durchsetzen konnte sich jedoch keines der beiden Stücke, bis heute wird zur Ehrung des Präsidenten Hail to the Chief gespielt.[3]
Der Name Semper Fidelis beruht auf dem Motto des United States Marine Corps.[1] Dasselbe Motto wird auch von den Grenadieren der Schweizer Armee verwendet.[4] Das Devonshire Regiment der British Army nutzte es bis zur Verschmelzung mit anderen Regimentern im Jahre 1958.[5]