Um antigo palacete da era do café
Durante o século XIX, a cidade de Vassouras teve um crescimento vertiginoso, tal qual muitas cidades do Brasil não viu em séculos de história. Este desenvolvimento se deu devido ao plantio do café, que por meio século produziu uma das muitas riquezas do Brasil. Resquícios desta era de poder e riqueza podem ser vistos através dos prédios históricos que embelezam o centro histórico de Vassouras.
Um destes muitos prédios, que estão localizados no entorno da Praça Barão de Campo Belo (que na era Imperial era o centro da cidade) é o Paço Imperial, que de tão importante abriga a sede do IPHAN na região. O local foi um grandioso palacete de nobres, tanto que um dos nomes pela qual o local é conhecido é prova, Palacete do Barão do Ribeirão e do Visconde de Cananéia.