O Casarão onde está o Museu foi construído pelos escravos de João de Almeida Pedroso, que recebeu as terras da Câmara em 1.771. Seu neto João de Almeida Prado, pouco antes de 1.842, vendeu as terras ao Coronel Rafael Tobias de Aguiar, o futuro Brigadeiro Tobias, que, por sua vez, doou para o senhor Francisco Xavier Paes de Barros, o Capitão Chico, quando se tornaram cunhados.

Construídos em 1.780, o Casarão possui paredes externas em taipa de pilão e internas de taipa de mão. O telhado é de quatro águas com telhas de barro do tipo “capa e canal” e os forros são de madeira. O mais curioso nessa construção colonial é o armário que existe no quarto principal, que ainda dá acesso ao forro e, no passado ao porão, hoje aterrado.