紀州徳川藩主頼宣（よりのぶ）は熊野巡視の帰途当寺に立寄り、菩提寺（ぼだいじ）と定め、仏殿一宇を建立したといわれる。頼宣は没後、遺言によってこの地に埋葬され、仏殿を位牌堂（いはいどう）にあてた。この位牌堂が霊殿である。桁行（けたゆき）七間（けん）、梁間（はりま）八間、寄棟造（よせむねづくり）、本瓦葺（ほんがわらぶき）で、南東に玄関が付く。棟札（むなふだ）から寛文（かんぶん）7年（1667）に建立されたことがわかる。西側の2室に厨子（ずし）を置き、歴代藩主および正室と側室等の位牌（いはい）を祀る。紀州藩霊殿は藩の大工が直接携（たずさわ）り建築した、全体的に重厚な御殿風の建物である。