Dopo aver giocato in due club dilettantistici della città di Emmaboda, il Johansfors IF e l'Emmaboda IS, nel gennaio 2005 firma un contratto quinquennale con il Kalmar, con cui esordisce ufficialmente nell'Allsvenskan. Resta in Svezia per quattro stagioni, totalizzando 96 presenze e 18 reti.
Il 25 agosto 2009, dopo aver rifiutato numerosi ingaggi pluriennale in Premier League, soprattutto dall'Everton[3] viene acquistato a titolo definitivo dagli olandesi dell'AZ Alkmaar.[4] Il 12 settembre 2009 debutta in Eredivisie, nella sconfitta esterna contro l'ADO Den Haag[5] e gioca altre 22 partite, segnando in tutto 3 reti. Confermato titolare anche nelle stagioni seguenti, resta nei Paesi Bassi fino al 2012, con 83 presenze e 12 gol.
Il 30 luglio 2012 firma un contratto triennale, con opzione di un ulteriore anno, con il CSKA Mosca.[6] Il 3 gennaio 2015 Elm ha rescisso il contratto con il consenso della società moscovita, complice la volontà di curare alcuni gravi problemi allo stomaco e all'intestino che gli avevano impedito di scendere in campo a partire dall'estate precedente.[7]
Nonostante i problemi di salute, nel gennaio 2015 firma per il suo ritorno al Kalmar dopo cinque anni e mezzo di assenza. Prima dell'inizio del campionato, anche il fratello Viktor ha raggiunto i fratelli Rasmus e David al club biancorosso. Qui Rasmus gioca per altre cinque stagioni, durante le quali è spesso vittima di infortuni, come per esempio nell'Allsvenskan 2017 quando gioca solo tre partite.[8] La sua ultima annata da giocatore è quella del 2019, con il Kalmar che chiude terzultimo in classifica e riesce a salvarsi solo tramite gli spareggi.
Nel marzo 2020 annuncia il suo ritiro dal calcio giocato all'età di 31 anni a causa dei problemi fisici accumulati.[9]