At Herman Bang stammede fra Skjalm Hvide-ætten, var et hjernespind, han alle dage var lidenskabeligt optaget af. Det styrkede hans usikre selvværdsfølelse og kastede et skær af aristokratisk ophøjethed over hans isolerede og lidet misundelsesværdige eksistens. Men også uden aner som biskop Absalon og marsk Stig var hans slægt for så vidt fornem nok, og den havde ned gennem tiderne frembragt en lang række betydelige teologer, læger og jurister. Farfaderen var således den kongelige livlæge, geheimeråd og storkorsridder Oluf Lundt Bang, en halvbror til J.P. Mynster og fætter til Grundtvig og Henrich Steffens.