觉山寺始建于北魏太和七年（公元483年），整座寺院精巧玲拢，大小禅院有134间，并位于三条轴线之上，显得错落有序，但最为称奇的是觉山寺的白塔、水井和山峰在同一个高度上，都是13丈，留下了“塔井山齐（奇）”觉山寺的美名。
寺庙内的佛教殿宇非常齐全，有钟楼、鼓楼、梆楼、点楼、天王殿、金刚殿、罗汉殿、韦驮殿、弥勒殿、贵真殿。大雄宝殿及丈昌阁和魁星阁等等。
大雄宝殿内墙壁上所画为八洞神仙，线条自然流畅，服饰搭配得体，体态丰满匀称，色彩清新艳丽。奇怪的是壁画中有百分之七十以上的神仙面容都一样，轮廓清晰，细眉长目，鼻准方直，两耳垂肩，朱毫点唇，给人一种端庄肃穆和慈祥之感。这些道教神仙的面容与佛祖的面容特征一样，可见该寺是二教合一的典范。
觉山寺四周山势相互绵延，形似莲台，把整座寺院托在当中，其中东侧有两个山头对在一起，形成一个凹宇形，像搁毛笔的笔架，名叫笔架山，代表的是文运亨通。每逢雨后或清晨大雾弥漫之时，半山腰会出现一块黑色的方碑，取名“雾碑”。每年农历四月初四庙会之日，定要下雨，雨过之后，它便随着雾不断出现，给人以无限遐思。
砖塔重建于辽大安六年（1090），为平面八角十三级密檐式砖构塔，总高43．54米。下部施双层基座。第一层呈方形，边长为19．6米，上置八角须弥座，座上设普柏枋，上承平座斗拱。塔座四壁刻有砖雕，金刚力士威武雄壮，歌舞伎乐动作优美；塔身内有木雕卧佛一尊，四壁留有60平方米的辽代壁画，至为珍贵。
觉山寺位于从太行八陉之一蒲阴陉古道山坡上，太行八陉为山西出入河北、河南的交通要道，蒲阴陉是其中著名的古道。