Läget var lantligt i stadens utkant på en höjd med blick över den stilla flytande Bäveån. Familjen trivdes väl och huset byggdes till för att kunna tjäna som åretruntbostad. Den kände målaren Vicke Andrén stod för skisser till inredningen och utförde takmålningar i arbetsrum och sängkammare. Malmgren var en infallsrik person och hemmet försågs med många fantasifulla detaljer som t ex det kinesiska tornet som byggdes till 1901-1902 och vindbryggan ut mot kullens platå.
 
Tidens anda var romantiken och Ture Malmgren var en romantiker. Ofta tog han sig upp på ett berg i närheten för att njuta av den milsvida utsikten över fjorden och Halle- och Hunneberg i nordost. Så småningom föddes tanken på att anlägga en borg på utsiktsplatsen.
1899 startades byggandet av Tureborg. Det sprängdes lönngångar, murades utsiktstorn och arbetet fortsatte fram till 1912 då borgen invigdes. Resultatet var en exklusiv sommarstuga i form av en tysk riddarborg, som saknade alla moderna bekvämligheter. Just avsaknaden av komfort blev Tureborgs fall, eftersom ingen var intresserad av borgen efter Ture Malmgrens död. Den fick förfalla och brann slutligen ner en höstnatt 1950.
Idag finns några ruinrester kvar, som ett av tornen där besökare kan klättra upp och njuta av den vackra utsikten.
 
Malmgren dog 1922 och hans änka levde kvar i Villa Elfkullen till början av 40-talet. Huset hyrdes ut och efter att de sista hyresgästerna lämnat villan fick den förfalla i många år innan Föreningen för Villa Elfkullens bevarande med friskt mod började renoveringen 1981. De många timmarnas slit har resulterat i många utmärkelser och ett trivsamt besöksmål.
 
Under juli till september är det öppet söndagar och besökare kan fika och lyssna till vissångare. Övrig tid kan grupper boka guidning av Villa Elfkullen.