Ivar Castenskiold stammer fra Borreby Herreborg i Skælskør og er den yngste af tre børn. Han var fra 1963 og de følgende næsten ti år i Den Kgl. Livgarde, bl.a. som seniorsergent, og blev i 1973 gift med arvingen til Pandebjerg Gods på Falster, Anne Dorothea ('Pjums') Tesdorpf, der i dag har titel af både hofjægermester og kammerdame. Parret drev sammen godset i 34 år, men i dag ejes godset af næste generation, sønnen Axel Castenschiold. Ivar Castenschiold har taget ivrigt del i lokallivet. Fra 1992 og de følgende otte år var han medlem af byrådet i Nykøbing F. - valgt af lokallisten Nyt Nykøbing, der udsprang af Venstre. Ivar Castenschilod sad i lokalrådet for Danske Bank i 25 år, var formand for Falster og Østlollands Garderforening i 30 år og for Hasselø Nor og Pumpelag i 38 år. Som storbonde har Ivar Castenschiold været medlem af Falsters Tolvmandsforening, ligesom han har været aktiv i Danmarks Traktormuseum. I en lang årrække var han tillige aktiv i hjemmeværnet, som han forlod på grund af alder i for ti år siden. I fem år fra 2006 var han desuden stormester for den internationale Johanitterorden, The Sovereign Order of St. John of Jerusalem (SOSJ) og for The Sovereign Order of the Hospital of Saint John of Jerusalem (OSJ).