Jimmy Ellis föddes i Louisville där han tidigt började sin boxningskarriär. Som amatör mötte han bland andra Muhammad Ali och vann. Likt Ali hade han Angelo Dundee som tränare.[3]
Ellis fick sin chans att vinna WBA-titeln då Ali vägrade att delta i Vietnamkriget och därför förlorat sin boxningslicens. När det inte fanns någon världsmästare gjorde man en turnering om titeln där Ellis till sist besegrade Jerry Quarry i finalen.[3]
På Råsundastadion 1968 i Stockholm vann Ellis mot Floyd Patterson och försvarade därmed sin titel för första och enda gången. För redan i nästa match - som också gällde den vakanta WBC-titeln - i februari 1970, förlorade han sitt bälte till Joe Frazier. Ellis hade slagits ner i slutsekunderna av rond 4 men tagit sig upp på vingliga ben. Då han i rondpausen inte kunnat svara på någon av tränaren Angelo Dundees kontrollfrågor och inte heller reagerade reflexmässigt stoppade Dundee matchen.[4]
Jimmy Ellis är utöver sin VM-titel känd för sin tid som sparringpartner till Muhammad Ali - också han född i Louisville.[5]