Seymour est le deuxième fils du vice-amiral Hugh Seymour (1759-1801) de Hambledon dans le Hampshire, l'un des plus jeunes fils de Francis Seymour-Conway. Sa mère, Lady Anna Horatia Waldegrave, est la fille et cohéritière du 2e comte Waldegrave.
Charlotte Susan Seymour (d. 1948), épouse de Charles Walter Campion (1839-1926) en 1879
Carrière
Seymour fait ses études à Harrow. Il rejoint l'armée britannique en 1805 comme étendard dans la garde écossaise. Il est promu capitaine en 1811, et lieutenant-colonel en 1815. Il devient un écuyer ordinaire en 1818, et en 1820, il devient lieutenant-colonel à demi solde du 71e (Highland) Régiment d'infanterie.