日本では明治維新前は神仏習合であり、神道も仏教も同一と考えられていた。桑名の春日神社境内には神宮寺（今の春日神社会館付近に）があり、楼門は花頭窓がついている仏教的な形式だった。神宮寺は近くの仏眼院が管理していた。そして仏眼院の住職が春日神社別当（神官）を兼ねていた。

明治維新以来、新政府は神道を中心とし、神道と仏教をはっきりと区分する政策を行った。桑名でも明治3年（1870年）10月22日、神宮寺の取り壊し、仏像は仏眼院へ移すこと、仏眼院にあった徳川家康画像や朱印状写しなどを春日神社へ移すことなどを命じられ、同月27日から神宮寺の取り壊しが始った。

楼門は天保4年（1833年）に建立されたものだった。仏教的な形式だが、神社の楼門であるし、取り壊す必要があるか、どうかを役所へ問い合わせたら、「いずれ取り壊せ」との指令だった。「いずれ」のまま壊さずに残されていた。しかし、昭和20年(1945年)7月17日にアメリカ軍の空襲によって焼失してしまった。幕末か明治初年の楼門の写真が残っている。小さいのでよく見えないが、「説教 神宮寺」と書いた札が立っているので、この写真は神宮寺が廃止される以前の写真と判る。現在の楼門は平成7年（1995年）に再現されたもので、仏教色を排した門である。平成28年8月には左大臣・右大臣像が安置された。

住職と神官を兼務することは禁じられたので、仏眼院住職だった性恒は悩んだ末に、神官の道を選んだ。そして三崎葦牙（あしかび）と改名して春日神社の神官となり、明治20年に死去し、仏眼院墓地に今も眠っている。