Imaginary Soundscape — AIが「想像」するサウンドスケープ

Imaginary Soundscape — http://imaginarysoundscape.qosmo.jp/

NIPS 2017 Machine Learning for Creativity and Designで発表したショートペーパー Imaginary Soundscape: Cross-Modal Approach to Generate Pseudo Sound Environments について.

In English, please refer to this post.

デンバー空港 2002年
Ambisonics360マイク — 2015
左が入力画像. 右が画像認識のエンジンが選択した類似画像

人は一枚の写真からその場にいたら聞こえてくるであろう音を想像することができる. AIにも同じことが可能だろうか?

もしできるのであれば、Googleストリートビューにその音をつけたらどうなるだろうか、AIが妄想する仮想のサウンドスケープの中を散歩できたら…

Cross-Modal検索の研究 — Deep Learning for Content-Based, Cross-Modal Retrieval of Videos and Music
SoundNet: Learning Sound Representations from Unlabeled Video

徳井直生 — Qosmo, Inc. / Keio Univ. SFC Computational Creativity Lab — AIと創造性. http://naotokui.net/ http://qosmo.jp/ https://cclab.sfc.keio.ac.jp/