始建于明嘉靖年间（1522—1566），由画家文伯仁（1502—1575）在此建造私家宅园。因园中叠筑五座太湖石峰，故名五峰园。文伯仁迁居后，为退休官僚杨成所得。杨成之后，园屡易主，园史湮没，后散为民居，唯五峰独存。民国初为王永顺木行主购得，唐氏租屋开五峰园茶馆。其后园内空地渐改民宅。抗日战争前后，办过煤炭铺作场、裕大织布厂。新中国成立后，1956年有绸厂、民族乐器厂迁入，后又散为民居。1979年列为修复计划项目，1983年由苏州市园林管理局对峰石进行保护性加固。1998年整修，所有建筑均为新建。2002年被列为江苏省文物保护单位。
