Dans sa lettre à Mme du Bouchet de 1671, Bussy indique qu’il a placé dans sa galerie, en face des rois « les hommes d’État et de lettres. » Il a constitué sa collection à partir de portraits demandés aux personnalités vivantes (par exemple au chancelier Séguier en 1667 qu’il veut, écrit-il : « mettre dans une galerie que je fais d’hommes illustres ») ou copiés sur des gravures. Beaucoup de ces portraits ont disparu, sans doute vendus au XVIIIe siècle par le fils de Mme Dagonneau. Le comte de Sarcus a réorganisé et complété la série, refait ou ajouté des inscriptions en précisant par un (S) ce qui lui revenait.

Ont disparu de la collection de Roger de Bussy-Rabutin,
les hommes d’État :

• Christophe de Thou,
• François-Joseph Leclerc du Tremblay, dit le Père Joseph,
• François-Michel Le Tellier, marquis de Louvois,
• Guillaume de Lamoignon,
• Cardinal Du Perron,
• Mathieu Molé,
• Michel de Marillac
• Pomponne II de Bellièvre.

Les hommes de lettres :

• Calvin
• Érasme,
• Rabelais,
• Galileo Galilei,
• Pibrac,
• Jean-François Sarasin,
• Guez de Balzac,
• Luther,
• Montaigne,
• L’Arétin,
• Théophile de Viau,
• Torquato Tasso (Le Tasse),
• Voiture,

auxquels il convient, peut-être, d’ajouter Pascal et Bossuet.

On peut voir aujourd’hui les portraits suivants :

Le cardinal de Retz
D’après Ph. de Champaigne. Inscription de Sarcus. (En 1781, on lisait l’inscription suivante : Paul de Gondi, cardinal de Retz).

Le cardinal de Richelieu
D’après Ph. de Champaigne. Inscription de Sarcus. (En 1781, on lisait l’inscription suivante : Cardinal de Richelieu).

Le cardinal d’Ossat
Arnaud d’Ossat eveque de Bayeus, Gascon de très basse naissance mais qui par sa vertu s’eleva a la dignite de cardinal : d’un grand genie et qui servit fort Henri 4me a Rome pour sa reunion a l’eglise.

Le cardinal Ximenes
Inscription de Sarcus. (En 1781, on lisait l’inscription suivante : François Ximenes, cardinal).

Le cardinal d’Amboise
Georges cardinal d’Amboise, grand ministre d’Etat sous Louis 12me, legat en France qui a accorde la supreme autorite avec l’amitie des peuples par sa moderation et son eminente vertu.

Le Père Joseph
Joseph, capucin, homme de feu et fort employe par le cardinal De Richelieu ; on l’appeloit Son Eminence Grise.
Le portrait actuel ne représente pas le Père Joseph mais le roi Guillaume III d’Orange.

Michel de L’Hospital
Michel de LHopital, homme de mediocre naissance mais d’un grand merite fut fait chancelier et fit rendre les loix plus sages sous le regne de Francois 2me Catherine de Medicis l’ayant rendu suspect d’heresie a Charles 9me, et ce prince lui faisant froid ensuite, il se retira genereusement de lui-meme en 1568.
D’après Jean Decourt.

Descartes
D’après Frans Hals. Inscription de Sarcus. (En 1781, on lisait l’inscription suivante : René Descartes, l’un des plus grands philosophes du XVIIe siècle).

Le Président Jeannin
D’après François Quesnel. Inscription de Sarcus. (En 1781, on lisait l’inscription suivante : Pierre Jeannin, premier président au parlement de Dijon).

Sully
Inscription de Sarcus. (En 1781, on lisait l’inscription suivante : Sully).

Cromwell
D’après Robert Walker. Inscription de Sarcus. (En 1781, on lisait comme aujourd’hui au bas de la toile : Olivier.Cromwell.)