AIと一緒に音楽をつくる

さまざまな MIDI の例で学習し、ユーザーの演奏に合わせて次の部分を演奏してくれるアプリです

機械学習で訓練された4匹のブロブ(Blob)たちが作るオペラです。マウスで高低と母音を調節するとリアルタイムで和音を作って歌います。

チェロとバイオリンの演奏データを学習したAI鳥と一緒に演奏してみてください。マウスの動きに合わせて、弓をつける動作と音程をAIがリアルタイムで生成します。

キャンバスに絵を描くと、その位置と楽器によって音楽が演奏されます。視覚的要素がどのように聴覚的要素に変換されるかを体験できる共感覚的AI実験です。

2019年のバッハの誕生日に公開された、Google初のAIドゥードルです。ユーザーが作った2小節のメロディに、機械学習モデルがバッハ風の和声をつけてくれます。バッハのコラール306曲で学習したCoconetというモデルが使われています。

Google Arts & Cultureの実験で、自分で打ち込んだメロディに機械学習がバッハ風の和声をつけてくれます。できあがった曲は楽器やテンポを変えて聴き直したり、リンクで共有したりできます。

Performance RNN モデルを活用して、表の使用頻度を参考に曲を作成します。モデルは LSTM を使用して音楽構造とパターンを学習しました。

MusicVAE モデルを使って、繰り返しのメロディを作るアプリです。MusicVAE は複数のメロディをなめらかにつないで、調和のとれたメロディを作ることができます。

Magenta と Improv RNN を使って、アルペジオのパターンを演奏するように作られています。Improv RNN は土台となるコード進行に合わせてメロディを生成します。

あらかじめ訓練されたドラム RNN モデルを使って作られたドラム作曲アプリです。種となるパターンを与えると、それをもとに次のパターンを次々と作ってくれます。

テキストを入力するだけで、歌詞、ボーカル、伴奏を含む高品質な曲を作ってくれる現在最も人気のある音楽生成AIです。

Google Creative Labが作った実験で、日常で録音された何千もの音を似たもの同士に地図のように並べ、その音でドラムビートを作れます。楽器ではなく身のまわりの音が素材になります。

四隅に別々のドラムパターンを置き、その間の空間を行き来すると、中間の新しいビートが生まれる実験です。2つのリズムの間にどんなリズムがありうるのかを耳で確かめられます。

ブラウザの中の小さな部屋で物をクリックしながらLo-Fiヒップホップを作るMagentaの実験です。部屋の中央のテレビはメロディを混ぜるMusicVAE、隣のラジオは新しいメロディを作るMelodyRNNにつながっており、押すたびに音楽がリアルタイムで変わります。

歌声や物を叩いた音を、フルート・サックス・トランペット・バイオリンなどの楽器の音に変換するGoogle Magentaの実験です。各楽器モデルは実際の演奏者の10分間の録音で学習されており、奏者の息づかいや弓の擦れる音まで再現されます。

曲のファイルをアップロードすると、AIがボーカルと伴奏を分離してくれるウェブツールです。歌声を除いたカラオケ用トラックと、歌声だけを残したアカペラトラックをそれぞれ受け取れます。処理には通常10秒ほどかかると案内されています。

伝説的なバンド Queen のフレディ・マーキュリーの声と自分の声がどれくらい似ているかを AI が分析してくれます。音程(Pitch)・音色(Timbre)・メロディーを分析して点数をつけます。

画像を見てAIが似合う音を想像して聞かせてくれます。Googleストリートビューを通じて、その場所の「想像の音」を聞くことができます。