Når man fortæller en historie om sig selv, kan den kun fortælles i fortid. Den slynger sig bagud fra det sted, man befinder sig, og i stedet for at være aktør i historien bliver man en tilskuer, som har valgt at fortælle. Sådan er den blinde og gamle professor Leo Hertzbergs konkluderende selvforståelse ved vejs ende i Siri Hustvedts store og brede og labyrintisk betagende roman 'Det jeg elskede'. Leo slutter, hvor han begynder, med fem kærlighedsbreve, som kom til at ændre hans liv, fordi det ændrede andres liv, og fordi denne ændring kom til at dreje sig om lidenskab som alibi for at forlade sin søn for en anden kvinde. En ændring, som tragisk afspejler Leos egen udvikling med modsat fortegn. Da hans ene søn døde som elleveårig, forlod barnets mor og Leos hustru, Erika, ægteskabet og søgte ly og trøst i en universitetsstilling. Tilbage er der en anden søn, den forladte skilsmisseramte, som blev psykopat og forbryder. Og som Leo tog til sig i et håb om at erstatte sin egen, den druknede. Leo blev i en moden alder gift med Erika. Han er professor i kunsthistorie og hun lektor i engelsk litteratur. Begge er akademikere, eller det som på tysk lidt nedladende bliver kaldt for papirmennesker, personer med æggehovedet mere begravet i bøger end i livet. Som naboer og venner har de kunstneren Bill og hans hustru, digteren Lucille, som begge er aktive i Manhattans bohemeliv i begyndelsen af 1970'erne. Men Bill forlader sin kone og sin lille søn, fordi hans model, akademikeren Violet med afhandlinger om hysteri, spisevægring og andre kulturskabte epidemier, elsker ham begærligt og betingelsesløst. Og hvor Leos ægteskab er smedet af et intellektuelt, men også seksuelt valgslægtskab, er Bills og Violets den store romantiske passion, der i kærlighedens og kunstens navn forsømmer alt andet. Kan man det, og hvem betaler prisen? Børnene selvfølgelig, de levende og de døde, men også Leo, den fortællende betragter, som aldrig blev meget andet end en tangent til livets cirkel. Ifølge ham selv forstås.