杨家祠堂座落在县城东北部的古城墙边。太子少保、果勇侯、镇竿总兵杨芳捐资修建于清道光十六年（1836年）。

杨家祠堂始建于道光16年（1836年），木结构四合院，上下两层，占地770平方米，由大门、戏台、过厅、廊房、正厅组成，呈长方形。戏台为单檐歇山顶，檐下饰如意斗拱，高16米，四根台柱雕龙刻凤，戏台为穿斗式，正殿为抬梁式，整个建筑做工精细，极富民族特色，属县重点文物保护单位。

祠堂由大门、戏台、过亭、廊房、正厅、厢房组成，是典型的四合院建筑，占地770平方米。戏台为单檐歇山顶，穿斗式结构，高16米，面阔7米，进深8米；檐下如玉斗拱，台柱雕龙刻凤。正殿为抬梁式建筑，山墙为猫背拱，分为一明二暗三间。两边配有厢房。杨家祠堂设计精巧，做工精细。窗户、门、檐饰件均系镂空雕花，整体建筑具有鲜明的民族特色和很高的建筑艺术价值。