2019年のAkufen? − Deep Learningを用いたマイクロサンプリングと音楽制作

自己紹介

まずは自己紹介を。私は2019年4月から慶應義塾大学SFCにて、Computational Creativity、AIと創造性、特に音楽に関する研究室を主宰する予定です。この記事はSFCの学生(および未来のSFCの学生)に向けての文章という意味合いもあるので、すこし丁寧に自己紹介します。

1998年 DJを始めた頃の自分… (^^
2012年にラジオ番組用に作ったDJミックス — vinyl only!

背景 — マイクロサンプリング

その当時、特に自分が強く影響を受けていたのが、エレクトロニカと呼ばれていたジャンルです。Apple PowerBook G3が発売され、オーディオの処理がラップトップでできるようになった(それ以前はオーディオをコンピュータで扱うのが難しかったなどと言うと、今の学生さんはみなびっくりしますね。)、Cyclyng’74 Max/MSPのような音楽プログラミング環境が普及した、などさまざまな出来事のタイミングがそろったからでしょうか、実験的な音を使いつつも、ポップにそして時にダンサブルな音楽が世界中で同時多発的に生み出されていきます。日本でもSilicom/AOKI takamasaらが彗星のようにシーンに登場します(同じ時期にパリに住んでいたということもあり、同い年のAOKIくんとはのちに大の仲良しになります)。

Silicom live at Garden Room — 2001年の年越しライブ. カウントダウンの盛り上がりがすごい!
Akufen — My Way (2001)
Jan Jelinek — Look Finding Jazz Records (2001)
Prefuse 73 — Vocal Studies + Uprock Narratives (2001)
sCrAmBlEd?HaCkZ

今回のプロジェクトのスタート

ひるがえって僕自身はというと。。。ずっとアイデアだけはためていたのですが、なかなか実行に移すことができないでいました(ブラウザ上でMashupを作るソフトウェアなどを作ったりはしてました)。その後、2016年に始めたAI DJ プロジェクトによって、転機が訪れます。AI DJプロジェクトは、AIのDJと自分が一曲ずつ曲をかけあい Back to BackでDJをおこなうというプロジェクトです (AI DJ プロジェクトについての記事)。

AI DJ Project (Photo: Rakutaro Ogiwara)
Recommending music on Spotify with deep learning http://benanne.github.io/2014/08/05/spotify-cnns.html
ドラムキットの識別用のモデルを学習するためのスクリプト

楽器認識モデル

この仕組みがある程度うまくいったことを良いことに、次は楽器の識別のモデルも同じような方法で作ってみたのですが、こちらはあまりうまく行きませんでした。マイクの前で録音してもらう場合と違って、当たり前ですが、音楽ではさまざまな楽器が同時に鳴っています。一つの楽器しか鳴っていないというパートは少なく、うまく解析することができませんでした

MedleyDBに含まれる楽器の内訳
ピッチ解析をした結果をDBに格納, Node for Maxで呼び出しているところ. 楽器解析はこの時点では未実装.
システム構成図

リズム生成

これでメロディーや上ものを乗せる準備はできました。あとはリズムですが、リズムもやはりDeep Learningで生成することにしました。MagentaのDrumRNNもよくできているのですが、いかんせんvelocity(強さ)の概念がない、16分音符のグリッドにきっちり乗ったリズムしか生成できない という決定的な欠点があります。グルーブ感のあるリズムを生成するには、強弱はもちろん、微妙なリズムのタメ(=グリッドからのずれ)が重要になります(J Dillaがクオンタイズを嫌ったのは有名な話)。そこで今回はVariational Autoencoderを使ったドラムパターンの生成モデルを作ってみました。

VAE-based Rhythm Generation — ベロシティーあり
VAE-based Rhythm Generation — ベロシティーなし

完成曲

こうしてできた曲がこれです。楽器の識別モデルでVocalとして認識された音を中心に使ったので、タイトルを”Vox YouTube Populi” (Vox Populi = 民衆の声) としました。

今回制作した曲 Nao Tokui — Vox YouTube Populi (2019)

今後の展望 & まとめ

ここでは音楽の良し悪しを問うことはしません🙂 もちろん聴く人の好みが評価を左右することでしょうし、自分もAkufenをアップデートできたとはとても思えないです(逆にAkufenのセンスがいかに素晴らしかったかを痛感しているところ) 。

--

--

徳井直生 — Qosmo, Inc. / Keio Univ. SFC Computational Creativity Lab — AIと創造性. http://naotokui.net/ http://qosmo.jp/ https://cclab.sfc.keio.ac.jp/

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store