It is a story of one of my projects that tries to expand a dancer’s creativity by artificial intelligence (AI).

“Israel & イスラエル — Israel Galvan + YCAM”

To Japanese readers: 日本語で読みたい方はこちらをどうぞ.

Israel & イスラエル Photo by Yuki Moriya / Courtesy of Yamaguchi Center for Arts and Media [YCAM]

Since the end of 2017, I have been involved in a project with one prominent flamenco dancer. Why flamenco? It’s an attempt to see how AI can be used to extend flamenco as a form of dance. This project is led by YCAM (Yamaguchi Center for Arts and Media), Japan’s leading museum and research institute for media art. (Please note that this article is a review of…


今回は人工知能(AI)によって、ダンサーの創造性を拡張しようとしたプロジェクトのお話。

“Israel & イスラエル — Israel Galvan + YCAM”

Here is an English version of this post:

Israel & イスラエル Photo by Yuki Moriya / Courtesy of Yamaguchi Center for Arts and Media [YCAM]

2017年末から筆者は、ある著名なフラメンコダンサーとのプロジェクトに関わっています。フラメンコ?と不思議に思うかもしれませんが、AIを用いて、フラメンコというダンス表現をどう拡張できるかという試みです。山口県にある国内屈指のメディアアートを扱う美術館、研究機関であるYCAM(Yamaguchi Center for Arts and Media)が主体となったプロジェクトになります。 (この記事はあくまで筆者個人の視点、それも機械学習についてのプロジェク …


Oct 10th and 11th, Dentsu Lab Tokyo and Dentsu Craft will co-host a conference on the future of AI and creativity in Tokyo. We have invited three distinguished guest speakers to the conference. They are researchers and artists I personally admire, namely David Ha, Tom White and Gene Kogan. This article is intended to introduce these three amazing …


2019.9.20 update: 本記事で紹介している曲が Spotifyで公開されています!

今回はここ半年ほど取り組んでいる、Deep Learning/機械学習を用いた音楽制作についての個人的なメモです。考え方の背景から技術的に工夫したところ、今後のビジョンなどについて書きたいと思います。(先に実際に作った曲を聴いてみたい、という方はこの記事の一番下まで飛んでください!)

自己紹介

まずは自己紹介を。私は2019年4月から慶應義塾大学SFCにて、Computational Creativity、AIと創造性、特に音楽に関する研究室を主宰する予定です。この記事はSFCの学生(および未来のSFCの学生)に向けての文章という意味合いもあるので、すこし丁寧に自己紹介します。

1998年 DJを始めた頃の自分… (^^

私は大学で人工知能・人工生 …


AI DJ Project — 撮影:谷康弘 写真提供:山口情報芸術センター[YCAM]

数ヶ月前に最新のディープラーニングによる音楽生成の事例についてまとめた記事を書いたところ、たいへん好評をいただきました。日々さまざまな研究事例がアップデートされており、ある程度説得力のある音楽がAIによって生成できるようになってきているという内容の記事でした。その一方で、「過去の音楽をいくら学習したところで、本当に新しい、創造性に富んだ音楽を生成することができるのか」という自分なりの疑問を投げかけたつもりです。

Computational Creativity(=創造性があると人がみなすであろう振る舞いをする計算システム)を研究テーマにしており、音楽活動も続けている自分としては、過去の音楽にはなかった創造的な新しい音楽とはどういった音楽なのか、そしてそれをAIによって生成することができるのか、できるとしたらどういった手順が必要なのかといった問いは、自分の興味関心の中心ともいえる領域です。(2018後期は東京大学の教養課程で「Computational Creaitivy概論」という授業を担当することになりました。) 前回のまとめを書いてからの数ヶ月の間に日々の制作、活動の中で考えてきたことを、最新の研究論文、自分の実践を通してまとめてみたいと思います。

まず、新しい音楽とは何かというところから入りましょう。それこそ毎日、世界中で新しい楽曲、新譜が音楽配信やCDとしてリリースされています。もちろん楽曲を制作してリリースするということ自体は非常に創造的な行為ですが、私がここで言っている「新しい音楽」とはこういった「新譜」全般のことを指しているわけではありません。特に商業的なポップスの世界では、ヒット曲を作るための「方程式」が存在し、Big Dataを使ってヒットする確率を最大化することを目指す会社も存在します。

創造性の研究の中では、既存のジャンル(アルゴリズム的にいうならば探索空間)の中で新規な表現(解)を求めるような創造性と、その結果としてジャンルの枠組み自体が拡張される、あるいはその解を表現するために新しい記述体系が必要になるような創造性は区別されています。前者がCombinatorial Creativity=組み合わせの創造性(あるいはCombinatoric emmergence)、後者はEmmergent Creativity=創発的創造性 (Creative emmergence) といった呼ばれ方をしています。(以下の本を参照)

  • Combinatorial Creativity — 既存の要素の組み合わせによる創造性
  • Emergent Creativity — 要素そのものを作り出す創造性

ここで私がいう「新しい」音楽とは、後者の創発的創造性を必要とするような音楽、いままでのジャンルには当てはまらない、あるいはその音楽を評論するのに新しい言葉が必要になるような音楽のことです。もちろん、この定義に当てはまるのは実験的な音楽だけではありません。ポプュラー音楽の世界でも世界的に大ヒットするような音楽には、なにかしら既存のジャンルを壊すような要素が含まれていることが多いとも言えます(当時のビートルズしかり、Michael Jacksonしかり、Kendrick Lamarしかり…)。新しい音楽とそうでない音楽の二元論で考えるのは適切ではなく、上記のような新しさ、新規性(novelty)をどのくらい含んでいるのかを問うのが妥当だともいえるでしょう。

一方で、Big Dataによってヒット確率をあげるような音楽の作り方は、前者の「組み合わせの創造性」にあたります。ディープラーニングで過去の音楽を学習し、たとえばバッハのような、あるいはビートルズのような「新譜」を生成する場合も同様で、ここでいう新奇性は存在しないでしょう。では、この新奇性を含む表現を実現するにはどういった枠組みが必要になるのでしょうか。


Me, with AI DJ Robot — AI DJ Project at Digital Choc 2017 / WWW Shibuya, Tokyo (Photo: Rakutaro Ogiwara)

update: 11, June 2018 — AI DJ Project won “Honorary Mentions” Award at Prix Ars Electronica 2018.

update: March 2018 — AI DJ Project got Jury Selections award at Japan Media Art Festival.

“AI DJ Project” is a live performance featuring an Artificial Intelligence (AI) DJ playing alongside a human DJ. Utilizing various deep neural networks, the software(AI DJ) selects vinyl records and mixes songs. Playing alternately, each DJ selects one song at a time, embodying a dialogue between the human and AI through music. …


Imaginary Soundscape — http://imaginarysoundscape.qosmo.jp/

This is a blog post on my latest project, Imaginary Soundscape, presented at NIPS 2017 workshop, Machine Learning for Creativity and Design. 日本語の記事はこちら.

“Imaginary Soundscape” is a web-based sound installation, where viewers can freely walk around Google Street View and immerse themselves into the artificial soundscape “imagined” by our deep learning models. (I know imagine is not scientifically correct to describe the process. That’s why I double quoted it.)

Please be noted that the site is compatible with Chrome and Firefox browsers on PC only. The support for Safari and smartphone browsers is coming later.

Denver International Airport, 2002.

This…


Imaginary Soundscape — http://imaginarysoundscape.qosmo.jp/

NIPS 2017 Machine Learning for Creativity and Designで発表したショートペーパー Imaginary Soundscape: Cross-Modal Approach to Generate Pseudo Sound Environments について.

In English, please refer to this post.

デンバー空港 2002年

この音は、2002年に立ち寄ったデンバー空港で僕が録音したものです。この当時、イヤホン型の自作のバイノーラルマイクとMDレコーダー(!!)を常に持ち歩いていて、いろんな場所で音を撮ってました。録音のクオリティはそれほど高くはありませんが、これを聞くたびに初めての一人きりの海外旅行にドキドキする当時二 …


AIは人間の創造性にとっての鏡であり、かなづちというかツールである. 拡張する道具でもあり、顕微鏡のように詳しく分解して理解するのに役に立つ.

プロセスを外部化することで、自分自身ではわからない 人間自身の創造のプロセスや感覚の動きをより詳細に理解する. 一旦外部化できたら、人とは違う方向にずらすことができる。 人間の創造性を超えるものをつくるのはすぐには難しいかもしれないが、ずらす・違う方向に向かせることなら可能.

AIの創造性は 垂直方向への前進というよりは水平方向への拡張. (そもそもアートに上下とかより優れたといった概念がしっくりこないというのはあるが)

AIがやることは基本的には限られた解の空間・探索空間を探索すること。以前はしらみつぶしにしか調べられなかったのが、解空間が極端に大きい囲碁の場合でもそこに埋まってる解の点に到達できるようになった。人間の直感に近い。
アートの場合、囲碁などと違うのは人間が解空間を決める。しかも人によっても違うし、時の流れとともに変わって行く。

AIでたとえば音楽や絵を作ることを考えた時に、最適化のように捉えてしまう。
使える色や音のパレットでピクセルや楽譜やピアノロールをうめていく、そのなかで人間の好みや音楽理論に則ってありえるパターンの解空間の中で最適なものに到達することを目指す。バッハのような音楽、レンブラントのような絵を書きたいと言うのならそれでいいが、本当に創造的なものは解空間自体を疑わないと生まれない。

AIをより創造的にするには、この世界で一番創造的なアルゴリズム = 進化の考え方を取り入れること。進化は数十億年続いている。しかも、オープンエンド。

AI時代のアーティストにかかわらず人間の役割は、この解空間がゆらぐように、意識的に広げて行くこと。これは何も新しくない、写実的な絵画が全盛の時に、カメラというテクノロジーが写実に対する最適化を極端に推し進めた時に、アーティストがなにをしたか、印象派を生み出し、キュビズムが続いた。

感性を拡張できるようになる = コントロールできるようになると
実はせばめようとする圧力の方が強くなる。夕焼けが綺麗だなーとか今かかっている音楽のベースの音色がいいなーとか考えるよりも、すぐにSlackに返信するように感性をシャットダウンする方向に集中力を高めるというお題目のもとにすすんでいく。そういうシステムに関しては資本主義の中で開発研究費がつきやすい。個々の人間ではなく、システムにとって都合のいい方向に人間がならされて行く。農業革命で農業というシステムが野生の動物を家畜化したように。

一方でその瞬間瞬間を楽しむとか、音楽を感じるといった感性はシステムには必要がない。最適化圧力と戦うこと、あるいは解空間そのものをねじまげることで、最適化圧力を無効にすることが、アーティストでありデザイナーであり、社会のあり方を考える人の責務。

Nao Tokui

徳井直生 — Qosmo, Inc. / Keio Univ. SFC Computational Creativity Lab — AIと創造性. http://naotokui.net/ http://qosmo.jp/ https://cclab.sfc.keio.ac.jp/

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store