Fairlight CMI — Swiss Museum & Center for Electronic Music Instruments (SMEM)

Recently, I’ve had some time to reflect on the history of new music technologies (sampling, synthesizers, turntables, etc.) and how they influenced the history of music itself.

A recurring motif in the history of music and technology I found was that artists used new technology in a way that is not intended by the original inventor of the technology, and it led to new forms of expression. I am convinced that the history of music technology is histories of and

‘The history of technology and music are histories of misappropriation, accident, and contingency precisely because of the…


It is a story of one of my projects that tries to expand a dancer’s creativity by artificial intelligence (AI).

“Israel & イスラエル — Israel Galvan + YCAM”

To Japanese readers: 日本語で読みたい方はこちらをどうぞ.

Israel & イスラエル Photo by Yuki Moriya / Courtesy of Yamaguchi Center for Arts and Media [YCAM]

Since the end of 2017, I have been involved in a project with one prominent flamenco dancer. Why flamenco? It’s an attempt to see how AI can be used to extend flamenco as a form of dance. This project is led by YCAM (Yamaguchi Center for Arts and Media), Japan’s leading museum and research institute for media art. (Please note that this article is a review of…


今回は人工知能(AI)によって、ダンサーの創造性を拡張しようとしたプロジェクトのお話。

“Israel & イスラエル — Israel Galvan + YCAM”

Here is an English version of this post:

Israel & イスラエル Photo by Yuki Moriya / Courtesy of Yamaguchi Center for Arts and Media [YCAM]

2017年末から筆者は、ある著名なフラメンコダンサーとのプロジェクトに関わっています。フラメンコ?と不思議に思うかもしれませんが、AIを用いて、フラメンコというダンス表現をどう拡張できるかという試みです。山口県にある国内屈指のメディアアートを扱う美術館、研究機関であるYCAM(Yamaguchi Center for Arts and Media)が主体となったプロジェクトになります。 (この記事はあくまで筆者個人の視点、それも機械学習についてのプロジェク …


Oct 10th and 11th, Dentsu Lab Tokyo and Dentsu Craft will co-host a conference on the future of AI and creativity in Tokyo. We have invited three distinguished guest speakers to the conference. They are researchers and artists I personally admire, namely David Ha, Tom White and Gene Kogan. This article is intended to introduce these three amazing …


今回はここ半年ほど取り組んでいる、Deep Learning/機械学習を用いた音楽制作についての個人的なメモです。考え方の背景から技術的に工夫したところ、今後のビジョンなどについて書きたいと思います。(先に実際に作った曲を聴いてみたい、という方はこの記事の一番下まで飛んでください!)

自己紹介

まずは自己紹介を。私は2019年4月から慶應義塾大学SFCにて、Computational Creativity、AIと創造性、特に音楽に関する研究室を主宰する予定です。この記事はSFCの学生(および未来のSFCの学生)に向けての文章という意味合いもあるので、すこし丁寧に自己紹介します。

1998年 DJを始めた頃の自分… (^^

私は大学で人工知能・人工生 …


AI DJ Project — 撮影:谷康弘 写真提供:山口情報芸術センター[YCAM]

数ヶ月前に最新のディープラーニングによる音楽生成の事例についてまとめた記事を書いたところ、たいへん好評をいただきました。日々さまざまな研究事例がアップデートされており、ある程度説得力のある音楽がAIによって生成できるようになってきているという内容の記事でした。その一方で、「過去の音楽をいくら学習したところで、本当に新しい、創造性に富んだ音楽を生成することができるのか」という自分なりの疑問を投げかけたつもりです。

Computational Creativity(=創造性があると人がみなすであろう振る舞いをする計算システム)を研究テーマにしており、音楽活動も続けている自分としては、過去の音楽にはなかった創造的な新しい音楽とはどういった音楽なのか、そしてそれをAIによって生成することができるのか、できるとしたらどういった手順が必要なのかといった問いは、自分の興味関心の中心ともいえる領域です。(2018後期は東京大学の教養課程で「Computational Creaitivy概論」という授業を担当することになりました。) 前回のまとめを書いてからの数ヶ月の間に日々の制作、活動の中で考えてきたことを、最新の研究論文、自分の実践を通してまとめてみたいと思います。

まず、新しい音楽とは何かというところから入りましょう。それこそ毎日、世界中で新しい楽曲、新譜が音楽配信やCDとしてリリースされています。もちろん楽曲を制作してリリースするということ自体は非常に創造的な行為ですが、私がここで言っている「新しい音楽」とはこういった「新譜」全般のことを指しているわけではありません。特に商業的なポップスの世界では、ヒット曲を作るための「方程式」が存在し、Big Dataを使ってヒットする確率を最大化することを目指す会社も存在します。

創造性の研究の中では、既存のジャンル(アルゴリズム的にいうならば探索空間)の中で新規な表現(解)を求めるような創造性と、その結果としてジャンルの枠組み自体が拡張される、あるいはその解を表現するために新しい記述体系が必要になるような創造性は区別されています。前者がCombinatorial Creativity=組み合わせの創造性(あるいはCombinatoric emmergence)、後者はEmmergent Creativity=創発的創造性 (Creative emmergence) といった呼ばれ方をしています。(以下の本を参照)

  • Combinatorial Creativity — 既存の要素の組み合わせによる創造性
  • Emergent Creativity — 要素そのものを作り出す創造性

ここで私がいう「新しい」音楽とは、後者の創発的創造性を必要とするような音楽、いままでのジャンルには当てはまらない、あるいはその音楽を評論するのに新しい言葉が必要になるような音楽のことです。もちろん、この定義に当てはまるのは実験的な音楽だけではありません。ポプュラー音楽の世界でも世界的に大ヒットするような音楽には、なにかしら既存のジャンルを壊すような要素が含まれていることが多いとも言えます(当時のビートルズしかり、Michael Jacksonしかり、Kendrick Lamarしかり…)。新しい音楽とそうでない音楽の二元論で考えるのは適切ではなく、上記のような新しさ、新規性(novelty)をどのくらい含んでいるのかを問うのが妥当だともいえるでしょう。

一方で、Big Dataによってヒット確率をあげるような音楽の作り方は、前者の「組み合わせの創造性」にあたります。ディープラーニングで過去の音楽を学習し、たとえばバッハのような、あるいはビートルズのような「新譜」を生成する場合も同様で、ここでいう新奇性は存在しないでしょう。では、この新奇性を含む表現を実現するにはどういった枠組みが必要になるのでしょうか。


Me, with AI DJ Robot — AI DJ Project at Digital Choc 2017 / WWW Shibuya, Tokyo (Photo: Rakutaro Ogiwara)

is a live performance featuring an Artificial Intelligence (AI) DJ playing alongside a human DJ. Utilizing various deep neural networks, the software(AI DJ) selects vinyl records and mixes songs. Playing alternately, each DJ selects one song at a time, embodying a dialogue between the human and AI through music. …


Imaginary Soundscape — http://imaginarysoundscape.qosmo.jp/

This is a blog post on my latest project, Imaginary Soundscape, presented at NIPS 2017 workshop, Machine Learning for Creativity and Design. 日本語の記事はこちら.

“Imaginary Soundscape” is a web-based sound installation, where viewers can freely walk around Google Street View and immerse themselves into the artificial soundscape “ by our deep learning models. (I know is not scientifically correct to describe the process. That’s why I double quoted it.)

Please be noted that the site is compatible with Chrome and Firefox browsers on PC only. The support for Safari and smartphone browsers is coming later.

Denver International Airport, 2002.

This…


Imaginary Soundscape — http://imaginarysoundscape.qosmo.jp/

NIPS 2017 Machine Learning for Creativity and Designで発表したショートペーパー Imaginary Soundscape: Cross-Modal Approach to Generate Pseudo Sound Environments について.

In English, please refer to this post.

デンバー空港 2002年

この音は、2002年に立ち寄ったデンバー空港で僕が録音したものです。この当時、イヤホン型の自作のバイノーラルマイクとMDレコーダー(!!)を常に持ち歩いていて、いろんな場所で音を撮ってました。録音のクオリティはそれほど高くはありませんが、これを聞くたびに初めての一人きりの海外旅行にドキドキする当時二 …

Nao Tokui

徳井直生 — Qosmo, Inc. / Keio Univ. SFC Computational Creativity Lab — AIと創造性. http://naotokui.net/ http://qosmo.jp/ https://cclab.sfc.keio.ac.jp/

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store