A partire dalla custodia di Giuseppe Brogi (1766-1772) l’Arcadia iniziò a raccogliere i ritratti dei suoi soci più illustri. Negli anni successivi la quadreria si arricchì di numerose tele, in parte commissionate o acquisite dall’istituzione e in parte donate dai soci o dai loro eredi. In genere sotto ogni ritratto era apposto un cartiglio indicante il nome del pastore e le date di nascita e morte. Dopo i rivolgimenti politici della prima metà dell’Ottocento, nel corso dei quali andarono dispersi alcuni ritratti, le nuove acquisizioni divennero sempre più rare, fin quando nel 1923 la quadreria dell’Arcadia, costituita da 191 tele, passò in deposito al Museo di Roma a Palazzo Braschi, a parte 18 ritratti che dal 1940 ornano il vestibolo della Biblioteca Angelica.

La raccolta ha un prevalente interesse storico-culturale, ma annovera anche alcuni ritratti di pregevole qualità artistica, dal Doge Cambiaso di Anton von Maron all’Alfieri di Antonio Gualdi. Un nucleo significativo è rappresentato dai numerosi ritratti dipinti da Vincenzo Milone, tra i quali quelli di Gian Vincenzo Gravina, Pietro Verri e Isacc Newton.