Nel 1991 lascia i Suede e Brett Anderson e inizia a frequentare Damon Albarn dei Blur. La loro relazione prosegue sino al 1998. Albarn dedica a Justine varie canzoni, tra cui Beetlebum (che parla dei problemi connessi alla dipendenza dalla droga vissuti dalla coppia tra il 1996 e il 1998) e tre brani contenuti nell'album 13: 1992, Tender e No Distance Left To Run.
Nel 1992 fonda con Donna Matthews, Annie Holland e Justin Welch gli Elastica, band che riscuote un buon successo in Inghilterra già dal 1993, con il singolo Stutter. Con l'album Elastica (1995) il gruppo supera il record di vendite per un disco di debutto appartenente dal 1994 agli Oasis ed entra in lizza per il Premio Mercury. Nel 2001, dopo aver pubblicato un altro album nel 2000, la band si scioglie.