Джимми Эллис родился 24 февраля в Луисвилле, штат Кентукки, США
На любительском ринге Эллис дважды встречался с Мухаммедом Али, который тогда еще носил имя Кассиус Клей. Одну из встреч выиграл Джимми Эллис.
В 1968 году, после дисквалификации Мухаммеда Али за отказ ехать во Вьетнам, WBA решает провести турнир претендентов на звание чемпиона. В список вошли: Джерри Кворри, Флойд Паттерсон, Тед Спенсер, Леотис Мартин, Эрни Террел, Джимми Эллис, Оскар Бонавена и Карл Мильденбергер. Белый боксер Джорж Чувало и Джо Фрэзер полностью солидаризировались с Мухаммедом Али: "Для нас Мухаммед Али был и остается чемпионом", - подчеркнули они в совместном заявлении, и были поспешно выведены из состава претендентов.
В турнире претендентов Кворри победил Паттерсона, Спенсер - Террела, Бонавена - Мильденбергера, Эллис - Мартина. В полуфинале Кворри нанес поражение Спенсеру, а Эллис - Бонавене.
27 апреля 1968 года новым чемпионом мира стал 28-летний Джимми Эллис, победивший в финале Джерри Кворри.
Однако два года спустя на чемпионский трон уверенно сел Джо Фрэзер, победивший Джимми Эллиса. В Нью-Йоркском "Мэдисоне" 18 тысяч зрителей заплатили за этот матч 645 тысяч долларов. Фаворитом был Джо Фрэзер.
Ставки на него принимали в пропорции 4:1 и даже 6:1. Перед матчем Фрэзер весил - 93 кг, а Эллис - 91 кг. В четвертом раунде Джимми Эллис после мощной серии Фрэзера в голову "отдыхал" на помосте ринга до счета "восемь". Через 30 секунд левый боковой Фрэзера вновь бросает чемпиона Джимми Эллиса на пол. И легендарный тренер Эллиса Анджело Данди отказался от продолжения поединка. Но во время отсчета ударил гонг, отказ секунданта от продолжения боя последовал позже. Поэтому в протоколах зафиксировано: " Джо Фрэзер победил техническим нокаутом в пятом раунде". Было это шестое поражение Эллиса в 37 поединках.
Джимми Эллис продолжал выступать ещё до 1975 года.
Всего за свою карьеру боксера Джимми провел 53 боя, 40 выиграл, 12 проиграл и 1 бой остался без решения судей.