Cresce nelle giovanili del Seregno prima e del Monza dopo. Il suo esordio in Serie C risale alla stagione 1974-1975 con i viscontei, con i quali nell'annata seguente guadagna la promozione in Serie B. Nel 1977 passa al Torino, formazione con la quale disputa 7 campionati di Serie A. Il suo esordio nella massima categoria risale all'11 dicembre 1977, nel derby contro la Juventus (0-0).
Terraneo al Milan nella stagione 1984-1985
Dal 1984 al 1986 difende la porta del Milan, prima di passare alla Lazio nel campionato di Serie B 1986-1987, al termine del quale la squadra capitolina scampa a una possibile retrocessione in Serie C1 solo agli spareggi, durante i quali Terraneo è protagonista.
A fine stagione il portiere lombardo viene chiamato a sostenere un provino in Inghilterra, al Manchester Utd di Alex Ferguson, raccomandato dall'ex compagno in rossonero Ray Wilkins; l'esito è positivo, ma lui rinuncia per ragioni economiche.
Chiude quindi la sua carriera nel 1990 con il Lecce. In Salento, una promozione in Serie A e due salvezze sono il suo bilancio con i giallorossi.
Dopo due anni va a ricoprire il ruolo di direttore tecnico all'Inter, dove di fatto agisce da "braccio destro" del responsabile dell'area tecnica Gabriele Oriali; sulla sponda nerazzurra di Milano porta a compimento alcuni acquisti di spessore, come quelli di Clarence Seedorf e Fabio Cannavaro.
Negli anni ha curato molto i rapporti internazionali, legandosi al tecnico alsaziano Arsène Wenger e collaborando con gli spagnoli del Barcellona. Dal maggio del 2015 fino a marzo del 2016 ricopre il ruolo di direttore tecnico dei turchi del Fenerbahçe. Dall'aprile 2018 è consulente tecnico della squadra inglese del West Bromwich.[2]