Народжений у Ліверпулі гравець з 15 років займався футболом у клубній структурі місцевого «Евертона», а вже у 18 років, у 1963, дебютував за його головну команду, вийшовши в основному складі англійців на виїздну гру Кубка чемпіонів проти італійського «Інтернаціонале». Починаючи із сезону 1964/65 вже став стабільним гравцем основного складу «Евертона», сформувавши з Аланом Боллом і Говардом Кендаллом середню ланку команди, яку вболівальники охрестили «Святою трійцею». Разом з партнерами по команді 1966 року виборов Кубок Англії, а за чотири роки здобув титул чемпіона країни. Загалом за одинадцять сезонів взяв участь 310 іграх чемпіонату, в яких забив 18 голів.
Завершив професійну ігрову кар'єру у клубі «Шеффілд Венсдей», за команду якого виступав протягом 1974—1976 років, провівши по одному сезону у другому і третьому англійських дивізіонах.
Завершивши ігрову кар'єру, перейшов на тренерську роботу. Тривалий час був асистентом свого колишнього партнера по півзахисту «Евертона»Говарда Кендалла у тренерському штабі своєї рідної команди. 1987 року, коли Кендалл після тріумфу у чемпіонаті Англії попереднього сезону був запрошений до іспанського «Атлетіка» (Більбао), саме Гарві очолив команду «Евертона» і завоював з нею Суперкубок 1987 року. Після повернення Кендалла на тренерський місток ліверпульської команди у 1990 знову став його асистентом.