大圓山華蔵寺といい、天平年間（729～749）行基菩薩によって開基されたと伝えられる天台宗の古刹です。本尊は大蔵大日如来、脇立は十一面観世音と毘沙門天です。
盛時は境内四町四方（約19万平方メートル）四十二坊、七堂伽藍を完備し、寺領八百石でしたが、永禄（1558～1570）のころ、尼子義久に寺領を没収されたり、数度の火災のために衰微しました。
堀尾義晴が領主となる以前、毛利輝元が寺領を寄付し、伽藍復興を始めました。松平直政が松江藩主になってからは、摩利支天を信仰、寺領十二石を寄付し、その後、伽藍の再建修築はすべて藩の手によって行われ、神門郡（かんどごおり）、飯石郡の信徒から米の喜捨を受けて本堂とともに蔵王堂、弁天堂も建立されました。
なお、本堂の東南の小丘には、男女和合、縁結び、子授け、安産のご利益で知られる金勢堂があります。
また、弁天堂近くに稲荷社があります。

文化元年（1804)美作の国から勧請した金勢大明神は、高さ、80センチの木彫りの男根が御神体です。これを宮の中に納めて本堂の片隅に安置していました。男女和合、子授け、縁結び、性病治癒等のご利益あらたかだとして世人の信仰があつく、明治に入ってから開願のために現在の堂を建立したので、本堂から御神体をこの堂に移して安置しました。
現在も、開願のためやお礼のために、木や石で形どった男根や幟等を堂の周囲に置いて参詣する人がいます。

蔵王権現を本尊とし、右に摩利支天と左に行基菩薩が合祀されています。この社殿の境内には、石灯籠と狛犬が建立されています。
蔵王堂左側を奥へ進むと、池の中の小島に建立された弁天堂があります。蔵王堂と同じく、神仏混淆（しんぶつこんこう）時代に建立されました。