Dans une suite d'entretiens filmés en quatre jours dans l'appartement de Jacques Prévert situé cité Véron à Paris, Pierre y raconte son frère. Entourés de quelques-uns de leurs « compagnons de cinéma » ou amis de la première heure, les deux frères parlent de « choses et d'autres...», évoquant les activités diverses de Jacques. Les conversations sont entrecoupées d'extraits des films auxquels ils font allusion.
Quarante-trois ans plus tard, en 2004, le film — renommé Mon frère Jacques par Pierre Prévert — a été restauré et remonté par Catherine Prévert, fille de Pierre Prévert, et les passages ayant subi des altérations irrémédiables ont été supprimés. Plusieurs séquences sont présentées différemment par rapport à la version de 1961 et les droits d'auteur, plus stricts qu'au moment du tournage, ont amené le raccourcissement de certains extraits de films. De plus, l'introduction de la couleur enrichit maintenant certaines images (dessins, collages, maquettes, peintures...) et films (Paris la belle). Un court-métrage de Jacques Prėvert, La Pêche à la baleine, retrouvé sur le tard par son frère, a également été intégré.