První basketbalové krůčky

Dumars se narodil ve městě Shreveport v Louisianě. Jeho matka pracovala jako strážce na northwestské státní univerzitě v Natchitoches a jeho otec ("Big Joe") byl řidičem kamionů.

Joe vyrůstal ve sportovní rodině, ale v mládí nebyl basketbal jeho oblíbeným sportem. V jeho regionu byl velmi populárním americký fotbal a všech pět jeho bratrů bylo vynikajícími obránci v natchitocheské centrální Střední škole. Jeho bratr David hrál později dokonce profesionálně v USFL. Joe následoval svého bratra hrou na podobné pozici, po zranění ovšem zamířil směrem k basketbalu. Postavil si koš ze starého kola a dřevěné desky na svém dvorku, kde následně hodiny trénoval svojí střelbu a výskok.

McNeeská státní univerzita byla odměnou za jeho snažení na "domáckém koši". Za čtyři roky dosáhl průměrů 22,5 bodů na utkání - ve své poslední seniorské sezóně dával dokonce průměrně 25,8 bodů a byl tak šestým nejlepším střelcem v dané sezóně univerzitního basketbalu. Svojí studijní kariéru zakončil jako jedenáctý nejlepší střelec historie soutěže.