Efter realeksamen blev Kaj Larsen ansat ved Gribskovbanen som trafikelev. Han blev indkaldt til Sjællandske Luftværnsregiment i 1953 og kom efter sergentskole til Jyske Luftværnsregiment. Som oversergent kom han i 1957 på det første radar- og computerkursus på Nike-raketsystemet ved Fort Bliss, El Paso, Texas. Efter hjemkomsten kom han i 1960 på Hærens Fenrikskole på Frederiksberg Slot. Efterfølgende var Kaj Larsen teknisk leder ved enheden på Stevns og senere i Tune og blev i 1963 overført til flyvevåbnet, fra 1975 var han tjenstgørende ved luftværnsgruppens stab indtil nedlæggelsen af Nike i 1983. Derefter kom en periode som kvalitetsinspektør ved materielkommandoen. Kaj Larsen var derefter sagsbehandler ved den daværende flyverstab. Han var med tiden steget i graderne og blev i 1986 udnævnt til major. I de sidste fire år inden pensioneringen var han sagsbehandler på kvalitetsområdet i materielkommandoen. I 1992 blev han udnævnt til Ridder af Dannebrogordenen. Senest har Kaj Larsen fået udgivet Luftværnsgruppens historie i to bind 'Nike og Hawk'.