1865年から大正期にかけて建てられた、江戸時代（1603～1868年）末期の典型的な建築様式を取り入れた伝統的な商家の町家です。磯部家は江戸時代から第二次世界大戦まで「柏屋孫兵衛」という呉服商を営み、戦後はお茶の販売に専念しました。

城下町のメインストリートである本町通りに面したこの建物は、丸みを帯びた屋根「むくりやね」が特徴的です。このような屋根は江戸時代、商人階級の間で流行したが、犬山の町家でこのような建築様式が残っているのは磯部家住宅だけです。

敷地は、幅6.8メートルの狭い間口から想像するよりもかなり広く、母屋の先には、客人用の裏座敷、中庭、いくつかの土蔵があり、奥行きは58メートルもあります。このような構成になったのは、江戸時代の固定資産税が間口の広さを基準にしていたからです。

犬山市は2004年から2005年にかけて磯部家住宅の大修理を行い、明治時代中頃の姿を取り戻しました。建物は登録有形文化財です。