Den nuvarande byggnaden uppfördes år 1780 av William Chambers och Carl Wilhelm Carlberg på uppdrag av David af Sandeberg, direktör för Ostindiska kompaniet. Till gården hörde också två flygelbyggnader i trä och en ståtlig park. Sandebergs hustru, Mary Chambers, var syster till den kände engelske arkitekten varför han anlitades för uppförandet. Då Chambers för det mesta befann sig i England anlitades även Carlberg, dåvarande stadsarkitekt i Göteborg. Herrgården är exempel på nyklassicistisk arkitektur som var vanligt förekommande under 1700-talet.
Sandbergs arvingar sålde huset år 1796 till Niklas Björnberg, som då var Göteborgs rikaste man och ligger begravd på Partille kyrkogård. År 1820 gästade Karl XIV Johan herrgården och år 1835 köps herrgården av Evald och Herman Schmidt från Sachsen Altenburg. Mellan åren 1862-1871 fungerade herrgården som flickpension.