Er war seit 1574 mit Elizabeth Spencer (1552–1618) verheiratet, die ebenfalls Patronin der Künste war. Sie war entfernt mit Edmund Spenser verwandt, den sie patronierte (ebenso wie John Dowland und Thomas Nashe). Sie selbst übersetzte Petrarca. Mit Elizabeth hatte er eine Tochter, Elizabeth Carey (1576–1635), die Sir Thomas Berkeley (1575–1611), Sohn und Erbe des 7. Baron Berkeley, heiratete.
Er starb an einer Geschlechtskrankheit in Verbindung mit einer gegen diese gerichtete Quecksilberkur und liegt in der Westminster Abbey begraben. Da er keine männlichen Nachkommen hatte, beerbte ihn sein Bruder John als 3. Baron Hunsdon. Seine Witwe heiratete 1612 in zweiter Ehe Ralph Eure, 3. Baron Eure.