Robert Smalls nació en 1839 en Carolina del Sur, en una pequeña cabaña tras la casa de Henry McKee, en el número 511 de la calle Prince de Beaufort. Su madre, Lydia Polite era esclava de los McKee, y por tanto Robert nació igualmente esclavo. A los 12 años su amo lo envió a la cercana Charleston para que trabajase a cambio de una paga que se encargaba de cobrar el propio Henry McKee. Primero trabajó en un hotel, luego de farolero en las calles de la ciudad. Pero lo que le gustaba a Robert era el mar...