Long werd ontdekt door de voetbalclub Cork City en werd daar in de jeugdopleiding opgenomen. Hij tekende op 1 juli 2004 een contract dat hem deels ook een opleiding daarbij gaf. In het seizoen van 2005 werd hij opgenomen in de hoofdmacht en debuteerde op 25 maart 2005 eenmalig als invaller. Tijdens het seizoen kreeg de Engelse club Reading FC interesse in zowel Long als Kevin Doyle, waarna beiden verhuisden naar de club, op dat moment actief in de Championship.
Reading
Sinds het seizoen 2005/06 had Long regelmatig een basisplaats. Tijdens het seizoen 2010/11 wist hij tevens veelvuldig het net te vinden en scoorde hij 23 keer in de Championship. Hij werd voor het seizoen 2010/11 bekroond met een prijs voor beste speler van Reading, uitgereikt door de supporters. In 2010 werd hij door de Ierse voetbalbond uitgeroepen tot voetbaltalent van het jaar.
West Bromwich Albion
Op 9 augustus 2011 tekende Long voor Premier League-club West Bromwich Albion. Het transferbedrag werd geschat op £ 4,5 miljoen pond. Na drie seizoenen maakte hij de overstap naar Hull City AFC, waar hij één seizoen speelde, en tekende in augustus 2014 een contract bij Southampton, op dat moment onder leiding van trainer Ronald Koeman.