進入仙人舊館，便是古風流溢的“平山堂”，此堂初建于宋慶曆八年歐陽修知揚州時所建。42歲的歐陽修初到楊州後，政務龐雜，應接尤多，但綱目不 亂，關心民瘼，秤擊暴斂，深受百姓愛戴。歐公在公務之餘，寄情幹山水詩酒，遊目騁懷，築平山堂作講學、遊宴之所，數月而成。平山堂前築石台，圍以欄檻，歐公親植柳樹，時稱“歐公柳”。因望江南諸山，含青吐翠，飛撲於眉睫而恰與堂平；加之歐公內心所思，江南及各路諸才子，若可攀躋，寄此情于此景之中，故定堂名為“平山堂”。北簷下有清光緒二年（1876）林肇元所題匾額：“遠山來與此堂平”亦點明含義。嘉佑八年（1063），山堂朽，工部郎中刁約領揚州事時重修山堂。封閉前庭，改制為行春台。南宋紹興末年台圮，隆興元年（1163）至嘉定三年（1210）多次興毀。元代一度荒廢。明萬曆年間，知府吳秀重建山堂。
清康熙十二年（1673），刑部主事江都汪懋麟與太守金長真又擴建山堂，並建行春台。康熙帝南巡維揚時，至平山堂題“平山堂”、“賢守清風”、“怡情”、“澄曠”四額，並制《平山堂》詩一首。乾隆元年（1736）又整修山堂，規模益大。為記此事，在平山堂南，東壁面西處有乾隆元年七月兩淮都轉運鹽使尹會一撰並書《重修平山堂》碑石一方。咸豐年間，平山堂毀於兵燹。 今日之平山堂是同治九年（1870）鹽運使方浚頤重建。其建築為宏宇敞口，面南五楹，七架粱，前有卷柵廊。在明間北廊柱軸線上設落地罩，從罩到簷柱以北設走廊與“谷林堂”相連，今平山堂為方浚頤所題。清光緒初年兩江總督劉坤一題“風流宛在”，乃追懷歐公韻事而書，書法流暢， 看來其“流”少一點而“在”多一點，用字活而非錯，回味其意歐公風流仍在。 山堂建成後，歐公寄書前任太守韓琦曰：“獨平山堂占勝蜀岡，江南諸山一目千里”。可見歐公于平山堂前眼界寬廣而心曠神怡，故清代彭玉麟有“放開眼界”之匾。 1979年又事大修，山堂面目一新，令人流連往返。
