Ia berasal apabila Gyogi pergi ke tempat ini di pada tahun 730, beliau tertarik dengan pemandangan dan membuat patung Kannon seribu tangan dan diletakkan di dalam gua. Sejak itu, ramai pelancong yang mengembara di Tokaido mempercayainya. Walaupun patung kayu Kannon di puncak Gunung Iwaya telah dibina pada tahun 1765, tetapi ia telah dialihkan semasa Perang Pasifik, dan patung pada masa kini telah dibina semula pada tahun 1950. Gambar itu dicat pada papan siling Dewan Kannon oleh pelukis-pelukis Yoshida (nama lama Toyohashi) termasuk Sekiho Onda. Dan persekitaran Iwaya Kanon dikekalkan sebagai sebuah taman, dan ia akan menjadi meriah dengan Pesta Sakura pada musim bunga.