Moses Herzog, professeur d'université jouissant d'une certaine renommée, est abandonné par sa femme Madeleine. Il s'isole dans une maison de campagne du Massachusetts et, au bord de la folie, se met à écrire des lettres à sa famille, à ses collègues, aux membres du gouvernement, à des hommes célèbres, vivants ou morts. Cette correspondance dessine l'autobiographie d'un Américain des années 1960.