Carlo Emanuele era il secondo nato, primo tra i maschi, dei sedici figli del marchese Francesco Celestino Ferrero della Marmora, consignore di Borriana, Beatino e Pralormo e capitano dell'esercito piemontese, e della nobildonna Raffaella Argenterio di Bersezio. Tra i suoi fratelli compaiono il senatore e scienziato Alberto La Marmora, nonché i generali Alfonso La Marmora ed Alessandro La Marmora.