Segundo o historiador Aluísio de Almeida, a casa grande que pertenceu a dona Gertrudes Aires de Aguirre e depois ao filho, o brigadeiro Rafael Tobias de Aguiar, é do começo do século XIX, por volta de 1780, sendo identificado pelo arquiteto Carlos Lemos, como um “edifício urbano” construído na zona rural e que permaneceu isolado inicialmente, para receber mais tarde, justapostas aos seus flancos, uma série de pequenas casas que teriam servido de senzala para os escravos da fazenda, que em 1839 eram mais de sessenta. No entanto, essas pequenas casas anexas ao imóvel principal foram demolidas por ocasião da restauração do Casarão, em 1980

Entre o casarão e o o morro granítico empinado aos fundos, serpeia o córrego do Passa-Três, que deu origem ao primeiro nome daquela localidade. Ali existiu um grande açude, transformando-se posteriormente na atual várzea.

O imóvel em questão foi construído em taipa, técnica construtiva herdada dos portugueses aos árabes, à base de argila (barro) e cascalho. O imóvel foi construído por volta de 1780, pelo padre Rafael Tobias de Aguiar que, ao falecer, legou o sítio do Passa-Três a seu sobrinho, o Capitão de Ordenanças Antonio Francisco de Aguiar, casado com dona Ana Gertrudes Eufrosina Aires de Aguirre. Dentre os filhos deste casal o Brigadeiro Rafael Tobias de Aguiar.

A história do casarão registrou ainda dois fatos importantes: a revolta de dois escravos contra o feitor da fazenda e o acidente durante o passeio de barco no açude.

À época da construção do imóvel, era o sítio do Passa-Três destinado à plantação da cana-de-açúcar e a casa grande a sede desse engenho. Com o passar dos anos, e já propriedade do Brigadeiro Rafael Tobias de Aguiar e suas irmãs, transformou-se o Passa Três em plantação de café. Nessa época, por volta de 1860-1870, o imóvel sofreu a primeira alteração, quando a varanda dos fundos foi fechada, transformando-se em nova sala, construiu-se nova cozinha fora da casa e a porta principal foi trocada pela de arco pleno. Os caixilhos e vidros nas janelas são também dessa época.

Atualmente abriga o Centro de Estudos do Tropeirismo, que busca preservar e divulgar esse importante ciclo ligado à História de Sorocaba. Mantém exposição permanente, promove exposições periódicas e preserva parte da Mata Atlântica remanescente de nossa região. Realiza também eventos e atendimento a grupos escolares e ao público interessado em geral pela temática.