Holger Drachmann var søn af en energisk læge i København; han mistede som 11-årig sin mor (tuberkulose), men voksede op mellem livlige søstre og snart også med en god stedmor og nye halvsøskende. Han havde ikke så nemt ved det disciplinerede liv, men blev dog trukket igennem til en studentereksamen. Faderen var mindre begejstret for hans malerdrømme, bekymret for hans helbred (svage lunger) og utryg ved hans forelskelser. Holger Drachmann fik en kunstnerisk uddannelse, særlig hos marinemaleren C.F. Sørensen, men blev for helbredets skyld også sendt på en længere sørejse til Middelhavet 1867.