Джозеф Уолтер Джексон родился 26 июля1928 года в маленьком городке штата Арканзас. Когда Джо было 12, его родители развелись, и он со своим отцом Сэмьюэлом Джексоном переехал в Окланд. Сразу после окончания школы Джозеф перебрался в Калифорнию, где недолгое время был боксёром, однако в связи с болезнью матери был вынужден переехать в Западный Чикаго, Индиана, чтобы ухаживать за ней. Именно там он встретил Кэтрин Скруз.[источник не указан 2253 дня]
До встречи с Кэтрин у Джозефа был кратковременный бездетный брак с другой женщиной.
Джозеф женился на своей второй жене Кэтрин в 1949 году. В браке у них родилось 10 детей. Один из них, Брендон (близнец Марлона), умер вскоре после рождения. Все остальные стали профессиональными музыкантами:
В конце 1980-х и начале 1990-х Джозеф сильно привлёк внимание прессы, когда несколько его детей (в том числе и Майкл) рассказали журналистам, как все они в детстве подвергались с его стороны физическим и психологическим побоям (среди прочего он якобы требовал от детей, чтобы они обращались к нему только по имени). Джозеф отрицал, что подвергал детей побоям, но в конечном итоге признал, что подвергал их телесным наказаниям — однако, они с Кэтрин заявили, что такие методы были в порядке вещей и вполне заслужены. Аналогично Джеки, Тито, Жермен и Марлон опровергли заявления, что их отец был крайне жесток с ними. В конечном итоге и Майкл публично признал, что жестокая дисциплина, которую устроил им Джозеф, положительно повлияла на его карьеру и до самой смерти сохранял с отцом дружеские отношения (он ежегодно устраивал в своём поместье Неверленд День Джозефа Джексона).