Ses qualités mises en avant étaient à la fois sa rigueur défensive mais également un certain talent au maniement du palet aussi bien au niveau du contrôle qu'au niveau de la transmission. Grâce à ses qualités, les Red Wings pouvaient aisément et rapidement sortir de leur zone défensive pour porter le danger au sein de la défense adverse.
Il put également assurer l'intérim lorsque l'attaque de l'équipe était trop diminuée.
Au cours de sa carrière à Detroit, l'équipe a remporté à quatre reprises la Coupe Stanley et il fut sélectionné six fois dans l'équipe de la saison des meilleurs joueurs de la Ligue.
Malgré tout l'histoire entre Kelly et la direction de Detroit commence à s'effriter et quand en février, les Red Wings annoncent le transfert de Kelly au sein des Rangers de New York, Kelly préfère annoncer sa retraite annulant par la même le transfert.
L'entraîneur des Maple Leafs de Toronto, Punch Imlach, fit tout ce qui était en son pouvoir pour balayer les réticences de Kelly afin de le faire signer et il commence alors au cours de la saison 1960-1961 de la LNH une saison d'attaquant à temps plein.
Ainsi il forme avec Frank Mahovlich un tandem très efficace et il gagne même cette année-là son quatrième trophée Lady Byng.
Il reste à Toronto pour huit saisons, remporte quatre Coupe Stanley et sa notoriété dépasse même le cadre de la patinoire. Ainsi de 1962-1965 il fait de la politique et devient membre du parlement de la région de York-Ouest.
Il arrive dans son nouveau club, ni en tant que défenseur, ni en tant qu'attaquant mais en tant que entraîneur. Il occupe ce poste pour deux saisons et permet à l'équipe d'accéder à deux reprises aux séries éliminatoires. Il passe alors aux Penguins de Pittsburgh pour trois saisons (dont deux qualifications pour les séries) puis retourne à Toronto en 1973.
Il reste à la tête de l'équipe de la saison 1973-1974 à la saison 1976-1977, quatre saisons au cours desquelles les séries éliminatoires sont atteintes, mais jamais le stade des quarts de finale n'est dépassé.