Menurut sejarah, pada tahun 730, saat pindah ke daerah ini, biksu Gyogi tertarik akan keindahan alamnya, sehingga ia membuat patung dewi Kannon dan menyimpannya ke dalam relung gua karang. Sejak saat itu, orang-orang dalam perjalanan melintasi rute Tokaido banyak melakukan kunjungan ziarah ke tempat ini.Patung dewi Kannon di puncak Iwaya didirikan pada tahun 1765, namun sayang hancur semasa Perang Pasifik. Patung yang sekarang dibangun kembali pada tahun 1950. Pada langit-langit kuil Dewi Kannon di sebelah selatan dari Gunung Iwaya dapat dilihat lukisan dari para pelukis terkenal kota Yoshida (nama lama kota Toyohashi) seperti Segihou Onda. Kawasan sekitar kuil Dewi Kannon merupakan taman yang tertata dengan baik, pada musim semi diselenggarakan festival bunga sakura.