Los recuentos más detallados acerca de instituir una biblioteca en la Universidad se remontan a 1768, cuando la institución solicitó al virrey que se le entregaran los libros que habían pertenecido a los jesuitas; cuya orden religiosa había sido expulsada de todos los territorios de la Corona española el año anterior. Los libros de los jesuitas fueron entregados a la Universidad y el virrey Amat nombró Bibliotecario al doctor Cristóbal de Montaño. El segundo bibliotecario que tuvo la Universidad (1807-1821) fue el matemático y médico, y cosmógrafo mayor, doctor José Gregorio Paredes.

La biblioteca reunida por la Universidad permaneció en ella hasta 1822. En septiembre de ese año, en cumplimiento de un decreto firmado por el general Monteagudo, las colecciones de la Universidad pasaron a formar parte de la Biblioteca Nacional, fundada el año anterior por el Libertador San Martín. Por otro decreto también, los locales de la Universidad pasaron a posesión del Congreso Nacional.

A partir de 1855 el gobierno nacional volvió a ocuparse de la Universidad, cuando promulgó el reglamento de 7 de abril de 1855 sobre Instrucción Pública. En base a ese reglamento de Instrucción Pública, el gobierno dictó el Reglamento Interior de la Universidad de San Marcos de Lima de 14 de febrero de 1862, que regula las funciones de la Biblioteca. Sin embargo, la biblioteca de San Marcos solo se hizo realidad en 1871, cuando es instalada por el rector doctor Juan Antonio Ribeyro. Como bibliotecario-archivero se nombró a Mariano Torres.
El funcionamiento de la Biblioteca fue interrumpido por el saqueo ocurrido durante la ocupación chilena durante la Guerra del Pacífico (1879-1883). Luego cerraría sus puertas hasta 1904. Cuando volvió a abrir sus puertas se nombró como bibliotecario a Urbano Revoredo.

En el siglo XX, uno de los hitos más importantes en la historia de la Biblioteca lo constituye el período de modernización iniciado en el período 1923-1924, cuando su director fue Pedro Zulen. Éste introdujo los criterios contemporáneos de organización bibliotecaria e inició la edición del Boletín Bibliográfico de la Biblioteca de San Marcos; Zulen había estudiado la administración bibliotecaria mientras se encontraba en la Universidad de Harvard. Zulen murió en enero de 1925 y dejó su obra (la elaboración del catálogo por autores de la Biblioteca) inconclusa. El catálogo por autores de la Biblioteca solo sería terminado en 1939, cuando el director de la Biblioteca era Jorge Basadre, quien había trabajado con Zulen en 1923-1925, tanto en la Biblioteca como en el Boletín Bibliográfico.

Luego de la muerte de Zulen siguieron en la dirección de la Biblioteca los doctores Luis Varela Orbegoso, temporalmente Lizardo Alzamora Silva (1927), Emilio Romero (1934), Jorge Basadre (1939-1942). Luego se sucederían José María Valega, Federico Schwab, Manuel García Calderón, Leopoldo Chiappo y Alberto Benavides. 

La modernización iniciada por Pedro Zulen en 1923 fue continuada de manera significativa por Jorge Basadre, quien concluyó el Catálogo por Autores de Zulen en 1940. En 1948, la Biblioteca de la Universidad fue reorganizada bajo la dirección de Arthur McAnally; entonces se introdujeron las reglas de catalogación de la Biblioteca del Congreso de los Estados Unidos, con las que ahora trabaja la Biblioteca.