Vers 1840, la famille Villeneuve déménage à Montréal. Joseph-Octave suit des cours commerciaux donnés par les Frères des écoles chrétiennes et travaille dès 1853 comme commis à la maison Benjamin Brothers. En 1860, il ouvre sa propre compagnie de transport. Deux ans plus tard, il ouvre une épicerie-boucherie qu’il transformera en 1867 en un important commerce d’alimentation.
En politique, Joseph-Octave Villeneuve est d’abord, de 1866 à 1886, maire de Saint-Jean-Baptiste, un village montréalais devenu ville en 1884. Cette même année, le conseil de Saint-Jean-Baptiste présente un règlement visant l’annexion à Montréal; la construction d’un système d’aqueduc et d’égout a engendré des coûts dépassant la capacité financière de la ville.
À la suite de cette annexion, Joseph-Octave Villeneuve est choisi par ses concitoyens pour les représenter au conseil de ville de Montréal. Peu après, il se fait élire à l’Assemblée législative où il sera député d’Hochelaga à la suite de l'élection de 1886. Cette élection sera annulée le et Villeneuve ne réussit pas à se faire réélire à l'élection partielle du . Il sera toutefois de nouveau député à la suite de l'élection de 1890. En 1894, il gagne la course à la mairie de Montréal contre James McShane. Il est le premier maire élu pour deux ans.
Quelques mois avant la fin de son mandat de député, le , Joseph-Octave Villeneuve est nommé sénateur.