Kjeld Mardahl var som elev på sangskolen De forenede Kirkeskoler én af den legendariske kapelmester Mogens Wöldikes 'drenge', og da hans far var pianist, blev Kjeld Mardahl både hjemme og i skolen heftigt inspireret til et liv i musik. Samtidig var professor Poul Birkelund en af hans lærere, og i 1946 konkurrerede Kjeld Mardahl sig til en plads i Det Kgl. Kapel. Da DR SymfoniOrkestret halvandet år efter blev udvidet, spillede han sig ind i dette orkester - og blev dér i 14 år. Senere flyttede Kjeld Mardahl til Aarhus, hvor han i 28 år var docent ved Det Jyske Musikkonservatorium samt i en årrække prorektor og i en kortere periode også var tilknyttet Aarhus Symfoni Orkester. Kjeld Mardahl var selv udøvende kammermusiker og med til at skabe Det Danske Kammerensemble og The Elsinore Players. Han var i en periode formand for Aarhus Unge Tonekunstnere og i flere år lærer ved Holstebro Musikskole. Det var ikke mindst forskning i Johann Sebastian Bachs musik, der blev en hjørnesten i Kjeld Mardahls virkede efter pensioneringen som 70-årig. Desværre betød en skade i venstre håndled, at han måtte opgive sin aktive musiceren.