El edificio fue construido especialmente para convento, al cual se le dio el nombre de Convento Real de la Concepción. Después se le conoció como Convento de “Las Monjas”.

Se autorizó su construcción por real Cédula de Fernando VI, dada en Buen Retiro, el 21 de septiembre de 1754.

El Arq. Francisco Martínez Gudiño con los alarifes Pedro Joaquín de Tapia y Salvador Antonio Hernández, iniciaron la construcción en 1755 y el edificio se inauguró, incompleto, el 28 de diciembre de 1765, siendo su fundadora Sor María Josefa Lina de la Canal y Hervás quien con su dote costeó la construcción.

El Convento estuvo en funciones hasta la época de la Reforma. En las últimas décadas del siglo XIX fue Colegio de Primaria.

En 1912, se utilizó como colegio para señoritas dirigido por monjas españolas.

En 1914 al estallar la Revolución se ocupó como cuartel hasta 1936.

En 1938, la Secretaría de Hacienda, alquiló el edificio a particulares para fundar una escuela de Bellas Artes, que funcionó hasta 1948. El edificio fue alquilado a Felipe Cossío del Pomar que fundó la Escuela Universitaria de Bellas Artes.

Después la Secretaría de Bienes Nacionales, lo otorgó en propiedad de uso al Instituto Nacional de Bellas Artes, estando en completa ruina.

En 1961, se procedió a su reconstrucción y adaptación dotándolo de un salón de actos, salones de clases y galerías.

En agosto de 1962, se inauguró este Centro Cultural Ignacio Ramírez “El Nigromante”.