Gran parte de su música se basa en la energía del bebop. También tuvo influencia del gospel, pues en su casa siendo niño se escuchaba música religiosa. Estudió trombón, luego violoncello y contrabajo cuando cursó la secundaria y Half-Mast Inhibition, una composición que escribió en 1941, muestra desde entonces una imaginación musical extraordinaria, y más tratándose de un adolescente. También fue determinante en su carrera musical el legado de Duke Ellington, por quien Mingus sitió una admiración cercana a la adoración.