Han begyndte at ryge, da han var seks år. Alkohol havde han fået smag for et års tid tidligere, han drak sjatter af de tomme ølflasker og huggede sprut fra sine forældre.
Et dårligt liv var begyndt for Jes Holtsø, og selv det mirakel, at han kom med i alle tiders mest populære danske filmserie, Olsen-banden, var ikke nok til at redde ham. Miraklet skete i 1967, da Jes var 11 år gammel. På Nordisk Film stod instruktøren Erik Balling og manglede en dreng, der skulle se ud til at være 6-7 år, men gerne måtte være ældre, så han var nemmere at instruere.
