Poul Groos indledte sin tjeneste i søværnet i 1960. Fem år senere kunne han kalde sig søløjtnant, og karrieren afsluttedes med titel af kommandør fra 1990. I 2002 forlod Poul Groos det danske militær efter 42 år i søværnet.

Under den kolde krig gjorde han tjeneste som torpedobådschef 1968-73. Efterfølgende uddannede han sig som sprogløjtnant ved et russiskkursus på Hærens Specialskole, og det blev til en periode ved Forsvarets Efterretningstjeneste (FE).

Poul Groos videreuddannedes ved Royal Naval Staff College, Greenwich, og blev derpå sagsbehandler i elektronisk krigsførelse og kommunikation ved Forsvarskommandoen og derpå lærer i militære operationer/Joint Warfare ved Forsvarsakademiet.

Fra begyndelsen af 1980'erne var han i flere ombæringer tilbage i FE og virkede i personelstaben. I 1988 blev Poul Groos chef for korvetterne 'Olfert Fischer' og 'Peter Tordenskiold', og efter et ophold på Nato Defence College i Rom var han fra 1990 chef for varslingssektionen i FE. 1995-99 var han forsvarsattache i London, Dublin og Haag, og karrieren afsluttedes på direktørposten for Naval Team. I de seneste ti år har Poul Groos været militærhistoriker på Forsvarsakademiet.

Poul Groos har undervist i søkrigslære, siden 2002 været formand for Marinehistorisk Selskab/Orlogsmuseets Venner, holdt foredrag, anmeldt militære bøger og er ved at afslutte en bog om krigen i og omkring Østersøen fra 1939 til 1945.