屋島から壇ノ浦を隔てて見えるのが五剣山。５つの峰がありましたが宝永３年（1706）の地震で崩れ今は４峰になっています。

　山岳修験の場としても栄えたが、天正の兵火により焼失。文禄年間に無辺上人が再興。寛永19年（1642）に松平頼重が現在の本堂に再建。さらに宝永６年（1709〉に松平頼豊が現在地に移築。