Jaroslav Rybakov nacque in Bielorussia, nell'allora Unione Sovietica, in una famiglia dalla lunga tradizione sportiva. La nonna era stata una saltatrice in alto, il nonno uno sportivo polivalente, ed entrambi i genitori si erano dedicati all'atletica leggera per poi diventare allenatori. Anche la sorella minore Alesia, di otto anni più giovane, gareggia nel salto in lungo e nelle prove multiple, sotto la guida tecnica dei genitori.
Allenato dal padre Vladimir, Jaroslav Rybakov iniziò con gli ostacoli, ma crescendo diventò troppo alto per eccellere in questa specialità. Si dedicò allora al salto in lungo, dove raggiunse un personale di 7,44 m, per poi passare definitivamente al salto in alto. Ai Campionati del mondo juniores del 1998 ad Annecy si classificò quinto con la misura di 2,18 m.
Nelle stagioni seguenti Rybakov continuò ad ottenere piazzamenti sul podio soprattutto nelle competizioni indoor, mentre fallì i due grandi appuntamenti all'aperto, i Mondiali del 2003 e le Olimpiadi del 2004. Nel marzo 2003 fu secondo ai mondiali indoor di Birmingham con 2,33 m ed il 21 giugno vinse la gara di Coppa Europa a Firenze stabilendo anche il suo record personale con 2,34 m. Due mesi dopo si presentò come uno dei favoriti ai Mondiali di Parigi, ma in gara si fermò alla quota di 2,25 m, concludendo al nono posto. Nel 2004 fu secondo ai mondiali indoor di Budapest con 2,34 m; con la stessa misura alle Olimpiadi di Atene finì lontano dal podio, al sesto posto.
Il 15 febbraio 2005 in un meeting al coperto a Stoccolma Rybakov riuscì a saltare 2,38 m, nuovo primato personale e record russo, battendo di un centimetro il precedente primato nazionale di Vjačeslav Voronin che resisteva dal 2000. Si ripeté alla stessa quota il 6 marzo, agli Europei indoor, ma la misura non gli fu sufficiente per vincere: finì secondo dietro a Stefan Holm, salito a 2,40 m. In estate ai Mondiali di Helsinki ottenne la medaglia d'argento (a pari merito con il cubano Víctor Moya), con la misura di 2,29 m, dietro all'ucraino Jurij Krymarenko, che vinse superando 2,32 m.
Nel 2006 si è laureato campione del mondo indoor a Mosca, con la misura di 2,37 m. L'anno dopo ha vinto un argento mondiale ad Osaka con la misura di 2,35 m, dietro al bahamense Donald Thomas (oro) e davanti al cipriota Kyriakos Iōannou (bronzo). Nel 2008 si è aggiudicato l'argento ai mondiali al coperto e il bronzo alle Olimpiadi di Pechino, mentre nel 2009 ha finalmente vinto l'oro mondiale, imponendosi ai Mondiali di Berlino.