Criada por lei em 1871, a biblioteca foi aberta ao público seis anos depois, com 1.809 obras. Sua primeira localização foi na esquina das atuais ruas Marechal Floriano e Duque de Caxias, hoje ocupada pelo Colégio Sévigné. Mudou-se em 1915 para o prédio atual, na esquina das ruas Riachuelo e General Câmara.
A fachada da construção, de influência positivista, é contornada por 10 bustos de patronos do calendário criado por Augusto Comte: Júlio Cesar, São Paulo, Carlos Magno, Dante, Guttemberg, Shakespeare, Descartes, Frederico III, Aristóteles e Bichat. O prédio foi oficialmente inaugurado em 1922, para comemorar o aniversário da Independência. Atualmente, a biblioteca tem cerca de 240 mil volumes.