高義園位於天平山南麓，始建于唐寶歷年間，原為宋朝范仲淹祠堂。
高義園共五進，依山而建，地坪逐進升高，縱深約70米。入頭門，經儀門，第三進今額“樂天樓”，原名禦書樓，舊稱宸翰樓，是座宏敞精緻的重簷歇山式建築。面闊15米，進深10米，上下均為三開間，下為回廊周匝的四面廳，上為四面欄窗的敞閣。第四進為淩空高架的逍遙廳，與樂天樓互為對景；亭為歇山式，左右出兩翼若雙闕，有重樓複閣之勢。後院為高義園正殿，單簷歇山造，面闊三間，内有乾隆十六年（1751）弘历初游天平时所题“高义园”蓝底金字盘龙匾，和他手书的“游天平十六韵二首”诗碑两方。
乐天楼两侧各有小院，利用山崖、卵石聚泉成池，配以葱郁的竹树，为对称的建筑物增添了天然活泼的意趣。东院较大，建有方形碑亭“恩纶亭”。白云古刹在园西，始建于唐·宝历二年（826），初为白云庵，以白云泉得名。北宋庆历四年（1044）范仲淹因祖茔所在，奏请为范氏功德香火院，仁宗赵祯额“白云禅寺”，亦名天平寺。元末毁，明洪武重建。现有寺宇为晚清重建，仅存硬山式大殿三间两厢和是山门，大殿台基和莲瓣绕联珠覆盆式柱础为古物。范参议祠在园东，有祠门、享堂两进。享堂现额“岁寒堂”，硬山式，面阔三间，左右出两厢相对。来燕榭在祠东，外有“~Y经台”濒十景塘，内有凹字形水池名“鱼乐园”池北凸出方亭，额“听莺阁”三面临水，可俯瞰池鱼。阁后与“寤言堂”相接。堂面阔五间，两梢间为夹室。池周环以长廊，南廊劈门，额“来燕榭”。再东即为咒钵庵，傍范隋墓门神道石坊和桃花涧，共三进。第二进三开间小屋，壁嵌“山石间”、“佛在者里”石刻，第三进为佛堂。