Iniziò molto giovane a suonare il bandoneón, all'età di otto anni, quando sua madre gliene comprò uno a rate, che continuò sempre a suonarlo, fino a quando non gliene regalò un altro sua moglie Zita Ida Dudui Kalacci.
La sua prima esecuzione in pubblico fu a undici anni; successivamente fece parte di una orchestra femminile e a quattordici anni ebbe l'idea di formare un quintetto.
Nel dicembre del 1930 fu membro del sestetto diretto dal violinista Elvino Vardaro, insieme al pianistaOsvaldo Pugliese, Ciriaco Ortiz e Alfredo Gobbi Jr. come secondo violino, ma di questo notevole complesso non rimane alcuna registrazione musicale.
Nel 1931 collaborò con l'orchestra di Juan Maglio ''Pacho'' e nel medesimo anno incontrò nuovamente Ortiz nell'orchestra Los Provincianos, uno dei gruppi formati appositamente per incidere le registrazioni per l'etichetta Victor.
Più tardi fece parte della grande orchestra costituita dal violinista Julio De Caro e successivamente, per un breve periodo di tempo, suonò nelle orchestre di Juan D'Arienzo, Angel D'Agostino, Luis Petrucelli e la Típica Victor, diretta dal celebre bandoneonista Federico Scorticati.
Insieme all'accordeonista Feliciano Brunelli, Elvino Vardaro e al flautista Enrique Bour, Troilo fece parte di El Cuarteto del 900 e successivamente passò alla grande orchestra diretta dal pianista Juan Carlos Cobián, l'ultima collaborazione prima di esordire con una propria orchestra.
Per il marchio Odeon, il 7 marzo 1937, incise la prima volta come direttore, interpretazioni dei tanghi "Comme il faut", di Eduardo Arolas, e "Tinta verde", di Agustín Bardi.
A causa di disaccordi con la società, non registrò più fino al 4 marzo 1941 quando fece la prima incisione per la Victor.
Successivamente, e fino al 24 giugno 1971, l'orchestra di Troilo realizzò 449 registrazioni, oltre a quelle effettuate insieme a Roberto Grela (chitarra), Edmundo Zaldívar (chitarrone) ed Enrique Kicho Díaz (contrabbasso), nel periodo giugno 1955-settembre 1956.
Nel 1962 realizzò altre dieci incisioni sempre con Roberto Grela, al quale si aggiunsero Roberto Lainez (chitarra), Ernesto Báez (chitarrone) ed Eugenio Pro (contrabbasso).
Nel 1968 formò il Cuarteto Aníbal Troilo per registrare undici tanghi e una milonga per la Victor, accompagnato da Ubaldo De Lío (chitarra), Rafael Del Bagno (contrabbasso) e Osvaldo Berlinghieri (piano).
Nel 1970 registrò alcuni duetti con Astor Piazzolla ("El motivo" e "Volver"), realizzando un totale di 485 registrazioni conosciute.
Fra i cantanti che sono passati nella sua orchestra si annoverano Francisco Fiorentino, Alberto Marino, Floreal Ruiz, Edmundo Rivero, Jorge Casal, Raúl Berón, Roberto Rufino, Ángel Cárdenas, Elba Berón, Tito Reyes, Nelly Vázquez e Roberto Goyeneche.
I suoi pianisti furono Orlando Goñi, José Basso, Carlos Figari, Osvaldo Manzi, Osvaldo Berlinghieri e José Colángelo.
Morì il 18 maggio 1975.
Composizioni
Troilo scrisse numerosi celebri tanghi, fra i quali si annoverano: "Toda mi vida", "Barrio de tango", "Pa' que bailen los muchachos", "Garúa", "María", "Sur", "Romance de barrio", "Che, bandoneón", "Discepolín", "Responso", "Patio mío", "Una canción", "La cantina", "Desencuentro", "La última curda" ed infine "Nocturno en mi Barrio".