Gramont est le fils d'un capitaine de navire. A la fin du XVIIIe siècle, il développe ses affaires en investissant dans des maisons d'armement. Il finance quatre expéditions négrières (une en 1783 et deux en 1803 et une en 1805)[2].
Il est l’un des cinq négociants membre de la commission qui représente Bordeaux auprès de Napoléon Bonaparte au moment du débat sur le rétablissement de l'esclavage en 1801-1802, alors qu'il avait été aboli en 1794 par la Convention montagnarde. Le rapport de cette commission plaide sans ambigüité en faveur de la « liberté du commerce » et donc de la traite tant les esclaves seraient nécessaires à l’économie caribéenne[2].
Une fois l'esclavage rétabli par Napoléon en 1802, Gramont fait partie des premiers à organiser des expéditions négrières en 1803[2].
Hommages et critiques
En 1843, la ville de Bordeaux donne son nom à une rue situé dans le quartier de Belcier[2].
En 2019, sous la pression d’associations comme Mémoires & Partages, la municipalité fait installer dans la rue une plaque explicative rappelant le rôle de l'armateur dans la traite négrière[3].