ウェブ上の音楽の再生に合わせて多種多様な機器を同時制御することで、一体感のある演出ができる大規模音楽連動制御プラットフォームです。誰でも自分のスマートフォンやパソコン等の機器を自由自在に組み合わせて、好きな楽曲の再生に合わせて光ったり動いたりする演出を作ることができます。
本システムを利用することで、ウェブ上で公開されている150万曲以上の楽曲を自動解析した結果を使って、楽曲の中身(拍子やサビなど)に連動した演出を作ることができます。チュートリアルサイトでは、大規模音楽連動制御を実際に体験することができます。次のリンク先から、ウェブ上で公開されている楽曲を選んで再生すると、音楽理解技術で事前に自動解析された拍子やサビなどに応じて変化するCGアニメーション(演出)を楽しむことができます。
この演出を別の端末と連動させる場合、表示されたQRコードをスマートフォンなどの端末から読み込むことで、同じ楽曲と演出が同じタイミングで表示されることを確認することができます。この手順を繰り返していくことで、連動していく機器を次々と増やしていくことが可能です。
希望の楽曲が自動解析されていない場合は、能動的音楽鑑賞サービスSongle(ソングル)に楽曲を登録することで、再生できるようになります。楽曲は、配信元のウェブサイト上から直接ストリーミング再生される仕組みなので、配信元の楽曲にアクセスできなくなった場合は、再生することはできなくなります。
次のクイックスタートでは、プログラミング言語 JavaScript を対象とした大規模音楽連動制御のプログラミング方法について紹介します。この技術を実際にアプリケーションに組み込みたい場合は、こちらを参照してください。
本システムは一般的なウェブブラウザから利用することができるため、スマートフォン・タブレットのように多種多様な機器を連動させることができます。また、スマートフォン・タブレットに限らず次に示す利用事例が既にサンプルプログラムとして開発されており、これらすべての利用事例に基づいて100台以上の機器を同時に制御することが可能なことを確認しています。
パソコン・ノートパソコン・スマートフォン・タブレットなどの汎用機器を用いて、スクリーン上で音楽に連動したアニメーションを表示しました。
IoT 化した照明機器や発光ダイオードを内蔵した光る生活雑貨(花瓶・キャンドル)などを用いて、室内環境を音楽に連動して変化させることができました。
IoT 化した発光ダイオードを装着・内蔵した光る衣装や光る腕輪を用いて、音楽に連動した発光制御ができました。
IoT 化した小型ロボットや電動カーテンを用いて、音楽に連動させながらロボットを動かしたり、カーテンを開閉することができました。
本システムは、国立研究開発法人産業技術総合研究所(産総研)における研究開発の一貫として、学術目的で一般公開・実証実験をしています。本研究は JST ACCEL OngaACCEL プロジェクトの支援を受けています。
後藤 真孝 | 統括・着想・音楽理解エンジン・実証実験企画 |
井上 隆広 | 設計・開発・実証実験 |
加藤 淳 | チュートリアル・実証実験企画 |
石田 啓介 | デモアプリ開発・実証実験 |
濱崎 雅弘 | 利用規約・プライバシーポリシー |
渡邉 研斗 | 実証実験 |
笠井 志麻 | 実証実験 |
川崎 裕太 | Songle 開発・実証実験 |
尾形 正泰 | 報道発表時デモアプリ開発 |
田中 利枝 | 報道発表時パネルデザイン |
土田 修平 | 報道発表時デモアプリ開発 |
中村 裕美 | 報道発表時デモアプリ開発 |
Jordan Smith | 音楽理解エンジン |
福井 健策 | 法務アドバイス |
橋本 阿友子 | 法務アドバイス |
お問い合わせは AIST Songle API project songle-ml [at] aist.go.jp までご連絡ください。