Hans Vilhelm (Wilhelm) Kaalund blev født i København 23.6.1818 (dåbsattesten anfører fejlagtigt 27.6., en dato, der også er overtaget af Dansk biografisk Leksikon) som den fjerde af fire søskende og nedstammer fra en gammel adelig officersslægt. Hans fader var premierløjtnant Marinus Nicolai Kaalund (1790-1832), der efter tabet af Norge i 1814 i forbindelse med reduktionen af militæret blev afskediget og derefter ernærede sig og sin familie som undertoldbetjent i København. Moderen, Juliane Mariane, født Schmidt (1789-1865), var datter af en købmand i Randers, der efter sin fallit flyttede til København, til det nuværende Nørrebro. Fra faderen skal Kaalund have arvet sin sans for det komiske og kærligheden til dyr - hjemmet var fuldt af fugle, kaniner og egern, der løb frit omkring - og af moderen lærte han utallige teatersange og folkelige viser.