社伝によれば創建は、白鳳期（飛鳥時代と天平時代の間ころ）とされています。祭神は天照大神で伊勢神宮との関係が深く、献納品がここに一旦保管され、豊川の吉田湊より船にて搬送されたとのことです。その後江戸時代には、境内に庭園と池が造営されて、池の中の蓬莱之島に弁天像が鎮座された弁天社が建立されました。これが、「築島弁天社」の名前に由来しています。
また、「おんぞ祭り（※）」は、その昔には吉田の三大祭りの一つとされ、伊勢神宮に白絹布を奉納する行事を祝して行われた祭りです。参河国大野で精製された赤糸を遠江国三ケ日岡本郷で織り、朝倉川・牛川を経て湊神明社へ運ばれてくるところを町民が出迎える祭りで、江戸時代には吉田の町屋の娘たちが華やかな装いで踊り、4日間街中を練り歩いたと伝えられています。この祭りは明治8（1875）年に中止されましたが、昭和24（1949）年に再び挙行されるようになり、現在に至っています。
※2023年は5月13日（土）16時より衣踊りを開催します。
