当山は行基菩薩の開基と伝えられる。弘法大師は、自他厄除のご誓願をこめられて、本尊厄除薬師如来を一刀三札して刻まれ、日本で唯一体の尊像といわれ、文治4年の火災の折、本尊は玉厨子山に飛び去って難をさけられ、後、再建され新しい本尊に入仏供養の折、又、飛び帰って後ろ向きに厨子に入る（俗に後向薬師という。）尊像は2体となったと伝えられる。
当時は、平城天皇以来、厄除根本道場の宮寺として、上下の尊信はきわめてあつく、参拝者も四季を通じて後を絶たず、寺宝も数多い。