據記載，北魏孝莊帝永安年間，高僧曇鸞在玄中寺創立了佛教淨土宗派，並著有《往生論注》等書。唐代時，日本高僧圓仁來中國學習佛教的天臺宗和密宗教義，同時也學習了淨土宗教義，從此中國佛教中的淨土宗就傳刮了日本。以後，日本高僧源空（號法然）開創了日本淨土宗，其弟子源信（號視鸞）又開創了淨土真宗。這兩個宗派的信徒、弟子都稱中國的曇鸞、道綽、善導等為祖師，把玄中寺视为祖庭。凡日本这两个宗派的佛教弟子来中国参观、访问，都要到玄中寺进香。因此，玄中寺又成了中日文化交流的纽带。
据寺内碑文记载，玄中寺始建于北魏孝文帝延兴二年（公元472年），落成于承明元年（公元476年）。唐朝贞观年间，唐太宗曾赐名“石壁永宁禅寺”；元和七年（公元812年），唐宪宗又赐名为“龙山石壁永宁寺”。随着皇家对玄中寺的重视，该寺院也就得到了不断的扩建，香火也十分旺盛。之后，玄中寺在历史的长河中几经磨难，历尽沧桑。金大定二十六年（公元1186年），玄中寺被大火烧尽，后经寺僧元钊负责修复。到了金末，该寺又为兵火所毁。到了元朝，由于寺院住持惠信负责修葺，使寺院得以恢复。但元末的战乱，又使玄中寺化为灰烬。明、清两代，虽进行过修建，但均未达到以前兴盛时的规模。民国年间，由于军阀割据，连年混战，再加上美、英、法、日等帝国主义国家的侵掠，玄中寺的命运一天不如一天，历史上一座名刹也未能逃脱被毁的命运。
玄中寺获得新生，那是在新中国成立后。从五十年代起，各级人民政府拨出专款对玄中寺进行大规模的修缮，不仅重建了大雄宝殿、七佛殿、千佛阁等主殿，还修建了祖师堂、禅堂院等建筑。
重修后的玄中寺面貌一新，佛殿雄峙，禅堂栉比，神像或庄严，或慈祥，或威武，姿态各异，栩栩如生。但寺内更值得一看的东西，当推历代碑刻了。这里有北魏、北齐和隋朝的造像碑，唐朝的戒坛碑、寺庄山林四至碑。石壁寺铁弥勒像颂碑。此外，还有宋、元、明、清的碑刻数十座。这些上至北魏，下至明、清时期的碑刻，不仅是一批艺术珍品，而且也是一批不可多得的历史文献。这里的碑文不仅记述了玄中寺的兴衰历史，同时也为研究中国的佛教史，特别是研究净土宗的历史，提供了宝贵的资料。