It is a story of one of my projects that tries to expand a dancer’s creativity by artificial intelligence (AI).

“Israel & イスラエル — Israel Galvan + YCAM”

To Japanese readers: 日本語で読みたい方はこちらをどうぞ.

Since the end of 2017, I have been involved in a project with one prominent flamenco dancer…

今回は人工知能(AI)によって、ダンサーの創造性を拡張しようとしたプロジェクトのお話。

“Israel & イスラエル — Israel Galvan + YCAM”

Here is an English version of this post:

2017年末から筆者は、ある著名なフラメンコダンサーとのプロジェクトに関わっています。フラメンコ？と不思議に思 …

Oct 10th and 11th, Dentsu Lab Tokyo and Dentsu Craft will co-host a conference on the future of AI and creativity in Tokyo. We have invited three distinguished guest speakers …

2019.9.20 update: 本記事で紹介している曲が Spotifyで公開されています!

今回はここ半年ほど取り組んでいる、Deep Learning/機械学習を用いた音楽制作についての個人的なメモです。考え方の背景から技術的に工夫したところ、今後のビジョンなどについて書きたいと思います。(先に実際に作った曲を聴いてみたい、という方はこの …

数ヶ月前に最新のディープラーニングによる音楽生成の事例についてまとめた記事を書いたところ、たいへん好評をいただきました。日々さまざまな研究事例がアップデートされており、ある程度説得力のある音楽がAIによって生成できるようになってきているという内容の記事でした。その一方で、「過去の音楽をいくら学習したところで、本当に新しい、創造性に富んだ音楽を生成することができるのか」という自分なりの疑問を投げかけたつもりです。

Computational Creativity(=創造性があると人がみなすであろう振る舞いをする計算システム)を研究テーマにしており、音楽活動も続けている自分としては、過去の音楽にはなかった創造的な新しい音楽とはどういった音楽なのか、そしてそれをAIによって生成することができるのか、できるとしたらどういった手順が必要なのかといった問いは、自分の興味関心の中心ともいえる領域です。(2018後期は東京大学の教養課程で「Computational Creaitivy概論」という授業を担当することになりました。) 前回のまとめを書いてからの数ヶ月の間に日々の制作、活動の中で考えてきたことを、最新の研究論文、自分の実践を通してまとめてみたいと思います。

まず、新しい音楽とは何かというところから入りましょう。それこそ毎日、世界中で新しい楽曲、新譜が音楽配信やCDとしてリリースされています。もちろん楽曲を制作してリリースするということ自体は非常に創造的な行為ですが、私がここで言っている「新しい音楽」とはこういった「新譜」全般のことを指しているわけではありません。特に商業的なポップスの世界では、ヒット曲を作るための「方程式」が存在し、Big Dataを使ってヒットする確率を最大化することを目指す会社も存在します。

創造性の研究の中では、既存のジャンル(アルゴリズム的にいうならば探索空間)の中で新規な表現（解）を求めるような創造性と、その結果としてジャンルの枠組み自体が拡張される、あるいはその解を表現するために新しい記述体系が必要になるような創造性は区別されています。前者がCombinatorial Creativity＝組み合わせの創造性(あるいはCombinatoric emmergence)、後者はEmmergent Creativity=創発的創造性 (Creative emmergence) といった呼ばれ方をしています。(以下の本を参照)

• Combinatorial Creativity — 既存の要素の組み合わせによる創造性
• Emergent Creativity — 要素そのものを作り出す創造性

ここで私がいう「新しい」音楽とは、後者の創発的創造性を必要とするような音楽、いままでのジャンルには当てはまらない、あるいはその音楽を評論するのに新しい言葉が必要になるような音楽のことです。もちろん、この定義に当てはまるのは実験的な音楽だけではありません。ポプュラー音楽の世界でも世界的に大ヒットするような音楽には、なにかしら既存のジャンルを壊すような要素が含まれていることが多いとも言えます(当時のビートルズしかり、Michael Jacksonしかり、Kendrick Lamarしかり…)。新しい音楽とそうでない音楽の二元論で考えるのは適切ではなく、上記のような新しさ、新規性(novelty)をどのくらい含んでいるのかを問うのが妥当だともいえるでしょう。

一方で、Big Dataによってヒット確率をあげるような音楽の作り方は、前者の「組み合わせの創造性」にあたります。ディープラーニングで過去の音楽を学習し、たとえばバッハのような、あるいはビートルズのような「新譜」を生成する場合も同様で、ここでいう新奇性は存在しないでしょう。では、この新奇性を含む表現を実現するにはどういった枠組みが必要になるのでしょうか。

update: 11, June 2018 — AI DJ Project won “Honorary Mentions” Award at Prix Ars Electronica 2018.

update: March 2018 — AI DJ Project got Jury Selections award at Japan Media Art Festival.

“AI DJ Project” is a live performance featuring an Artificial Intelligence (AI) DJ playing alongside a human…

This is a blog post on my latest project, Imaginary Soundscape, presented at NIPS 2017 workshop, Machine Learning for Creativity and Design. 日本語の記事はこちら.

“Imaginary Soundscape” is a web-based sound installation, where viewers can freely walk around Google Street View and immerse themselves into the artificial soundscape “imagined” by our deep…