Sy Baumgartner, professeur de philosophie à Princeton, veuf solitaire de soixante-dix ans, entame un voyage dans le grand palais de la mémoire. Ses pensées lentement partent à la dérive “vers le passé, le passé distant que l’on distingue à peine, vacillant à l’extrémité la plus lointaine de la mémoire, et par fragments lilliputiens, tout lui revient”.Se déploient, en spirales de souvenirs et de réminiscences, sa jeunesse à Newark, la vie de son père, révolutionnaire fantôme d’origine polonaise, sa rencontre foudroyante, à vingt et un ans, avec Anna, poétesse en herbe, puis leur amour fou quarante années durant.