Joe La Barbera a toujours vécu dans un environnement où le jazz a une place importante: ses deux frères ainés, Pat et John La Barbera, sont respectivement saxophoniste et trompettiste/arrangeur. Selon ses propres dires, le père de Joe joue de nombreux instruments et la fratrie La Barbera reçoit un enseignement musical très varié[1].
Joe La Barbera rejoint Woody Herman en 1971, au sein de sa formation - le Herd. L'expérience des tournées et de la collaboration avec le grand Herman marque fortement La Barbera, qui réalise son rêve le plus cher[1].
Il rejoint ensuite le quartette de Chuck Mangione pendant cinq ans, mais la formation du bugliste ne connaît qu'un succès moyen.
En 1978 il rencontre Bill Evans. Le pianiste est à la recherche d'un batteur et décide de l'auditionner. L'épreuve passée, Joe La Barbera est engagé dans le trio qui comprend également le contrebassiste Marc Johnson. Bill Evans dit de lui : "Joe est très dévoué à jouer de la musique de qualité, et il est prêt à faire les concessions qu'il faudra faire pour y arriver. C'est un très bon soliste et il fait ce qu'il faut quand il faut."[2].
Ce trio (complété par le bassiste Marc Johnson, se produit de nombreuses fois en concert, et enregistre quelques disques "live"; mais aucun en studio.
Leur collaboration est interrompue par la mort du pianiste le .
Joe La Barbera rejoint alors le chanteur Tony Bennett.