この家は、承政院右承旨と司諫院大司諫、安東府使を担った芝山・柳芝榮(1828~1896、純祖28~建陽1)が、1841年に念行堂から分家の時に貰ったものである。
退溪学脈の最後の弟子だった柳芝榮は、ここで修学して、1857年に文科の科挙に及第、数々の官職を歴任した。清廉潔白と存心養性を師表とし、堂名を「存養堂」と命じた。
故宅の大門は200年の歳月が経ち、崩れてしまったけど、母屋や下屋、舍廊房など30間あまりは今までうまく保存されている。特に、舍廊房である志山楼は心身を修養するために建てた、精舍のような雰囲気を醸し出している。
すっきりした芝生の庭と広い駐車場、そして家庭菜園は故宅を今も快く目立つようにしてくれる。