Holger Pamhede blev født på Nørrebrogade 230 – oppe i den pæne ende, som han siger – i en tiværelses lejlighed. Faren, som var skrædder, døde, da Holger var tre år gammel. Moderen, Alma Victoria, stod alene tilbage og måtte knokle hele livet. Hun gjorde rent på sagførerkontorer i 25 år, cyklede rundt på en gammel cykel, lavede mad som kogekone i mange skuespillerhjem og drev et pensionat i hjemmet. Da hun døde som 94‑årig, fandt Holger et brev, hun havde skrevet til ham. Det brev gav ham et helt nyt blik på den far, han aldrig nåede at lære at kende.