To gange har Jimmy Lai mistet alt til kommunisterne. Første gang var, da han blev født i Guangzhou, for han havde rige forældre, der umiddelbart efter blev ruineret under revolutionen i 1949. Faren flygtede ifølge The Guardian med en afskedshilsen til sin søn om, at han for guds skyld aldrig måtte blive politisk aktiv.
Lille Jimmy Lai blev i stedet gadearbejder i det nye kommunistiske Kina. Som 9-årig bar han kufferter på togstationen, da en kunde en dag gav ham en chokoladebar i drikkepenge. Lai, der aldrig før havde smagt chokolade, spurgte, hvor det kom fra.
