Fue construido como uno de los primeros hospitales modernos de nuestro país. El arquitecto municipal de origen vasco José Alday Hernández se encargó del proyecto en 1791, y fue levantado rápidamente gracias, principalmente, a muchas colaboraciones particulares.
El hospital atendió durante el siglo XIX a personas con menos recursos que eran cuidados por religiosas. En 1928 comenzaron las obras del actual hospital de Valdecilla, cuya apertura significó el cierre de San Rafael, abandonado durante casi cincuenta años.
En los años setenta se llevaron a cabo una serie de actuaciones en el edificio basadas en los estudios del arquitecto Ángel Hernández Morales. Las obras sirvieron para reforzar las estructuras de la construcción que se encontraban en un avanzado estado de deterioro.
El edificio tiene planta cuadrada y sus dependencias se organizan en torno a un gran patio. La fachada y el patio son de piedra de sillería. Un gran soportal formado por ocho arcos marca el acceso principal. La reforma y restauración del edificio fue dirigida entre los años 1983 y 1987 por los arquitectos José Manuel Sanz y Juan López-Rioboo. La cuidada rehabilitación eliminó muchos añadidos que habían desvirtuado la creación original de Alday y sirvió para reestructurar el interior de la construcción, adecuándola a su nuevo destino. El proyecto fue reconocido con el premio Europa Nostra en 1987 y el primer premio de Arquitectura del Colegio de Arquitectos de Cantabria como edificación singular. En 1983 fue declarado Monumento Histórico Artístico de carácter nacional.