記念館の建物は作家・林芙美子が、昭和16年（1941）8月から昭和26年（1951）6月28日にその生涯を閉じるまで住んでいた家です。山口文象設計によるこの家は、数寄屋造りのこまやかさが感じられる京風の特色と、芙美子らしい民家風のおおらかさをあわせもち、落ち着きのある佇まいを見せています。芙美子は客間よりも茶の間、風呂、台所に十二分に金をかけるように考え、そのこだわりはこの家のあちらこちらに見ることができます。