Mudou-se para Memphis aos vinte anos de idade, ficando conhecido como Kansas Joe, e rapidamente juntou-se à Beale Street Jug Band. Nessa época - década de vinte - conheceu Lizzie Douglas (Memphis Minnie), com quem gravou Bumble Bee para a Columbia Records. O casal mudou-se para a cena do blues de Chicago em 1930, onde Kansas atuou, escreveu e gravou suas peças mais clássicas.
Após seis anos de casamento, divorciado, juntou-se ao irmão, Charlie, para formar o Harlem Hamfats e alcançou o sucesso gravando regularmente durante os últimos anos da década de trinta.
Na década de quarenta formou o Big Joe and His Washboard Band, que se transformou no Big Joe and his Rhythm, mas não alcançou o mesmo sucesso.
Dentre as inúmeras canções que compôs, The Weed Smoker's Dream, Why Don't You Do Right? e When the Levee Breaks são os maiores sucessos.
Faleceu no dia 28 de janeiro de 1950, de doença cardíaca, aos 44 anos.
Durante o tempo em que foi casado com Memphis Minnie, produziu canções memoráveis, sendo a mais famosa When the Levee Breaks, gravada em 1929.
Em 1971, o Led Zeppelin gravou a canção, com uma nova melodia, no álbum Led Zeppelin IV e, em 1991, a lendária banda de hard rock/heavy metal W.A.S.P. também resgatou o clássico.