Songle Sync

Songle Sync (ソングルシンク)とは

ウェブ上の音楽の再生に合わせて多種多様な機器を同時制御することで、一体感のある演出ができる大規模音楽連動制御プラットフォームです。誰でも自分のスマートフォンやパソコン等の機器を自由自在に組み合わせて、好きな楽曲の再生に合わせて光ったり動いたりする演出を作ることができます。

Overview1

使い方

概要

本システムでは、ウェブ上で公開されている100万曲以上の楽曲を自動解析した結果を利用して、楽曲ごとに異なる中身(拍子やサビなど)に連動した演出を作ることができます。

Overview2

次のチュートリアルサイトでは、大規模音楽連動制御を楽しみながら実際に体験することができます。チュートリアルサイトから、ウェブ上で公開されている楽曲を選んで再生すると、音楽理解技術で事前に自動解析された拍子やサビなどに応じて変化するCGアニメーション(演出)が表示されます。

Tutorial style1
Tutorial style2
Tutorial style3
Tutorial style4

この演出を別の端末と連動させる場合、チュートリアルに表示されたQRコードをスマートフォンなどの端末から読み込むことで、同じ楽曲と演出が同じタイミングで表示されることを確認することができます。この手順を繰り返していくことで、連動していく機器を次々と増やしていくことが可能です。

ご希望の楽曲が自動解析されていない場合は、能動的音楽鑑賞サービス Songle (ソングル)楽曲を登録することで、再生できるようになります。楽曲は、元のウェブサイト上から直接ストリーミング再生される仕組みなので、元の楽曲にアクセスできなくなった場合は、再生することはできなくなります。

チュートリアル

チュートリアルサイトでは、より実践的な使い方を実際に体験しながら学ぶことができます。本チュートリアルの内容は、アプリケーション開発者をメインターゲットとしていますが、途中までは、プログラミングの知識がない方でもより高度な大規模音楽連動制御を楽しみながら体験できます。

利用事例

本システムは一般的なウェブブラウザから利用することができるため、スマートフォン・タブレットのように多種多様な機器を連動させることができます。また、スマートフォン・タブレットに限らず次に示す利用事例が既にサンプルプログラムとして開発されており、これらすべての利用事例に基づいて100台以上の機器を同時に制御することが可能なことを確認しています。

  • 画面表示

    パソコン、iPhone、iPad、iPod touch、Androidフォン、Raspberry Piなどの汎用機器を用いて、画面上で音楽に連動したアニメーションを表示しました。

  • 空間演出

    IoT化した照明機器や発光ダイオード(LED)を内蔵した光る生活雑貨(花瓶、キャンドル)などを用いて、部屋・環境の照明・光を音楽に連動して変化させることができました。

  • ファッション制御

    IoT化したLEDを装着・内蔵した光る衣装や光る腕輪を用いて、音楽に連動した発光制御ができました。

  • メカ制御

    IoT化した小型ロボットや電動カーテンを用いて、音楽に連動させながらロボットを動かしたり、カーテンを開閉したりできました。

Overview3

クイックスタート

次のクイックスタートでは、プログラミング言語 JavaScript を対象とした大規模音楽連動制御のプログラミング方法について紹介します。この技術を実際にアプリケーションに組み込みたい場合は、こちらを参照してください。

クレジット

本システムは、国立研究開発法人産業技術総合研究所(産総研)における研究開発の一貫として、学術目的で一般公開・実証実験をしています。
本研究は JST ACCEL OngaACCEL プロジェクトの支援を受けています。

研究開発チーム(産業技術総合研究所)

後藤 真孝 
統括、着想、Songle用音楽理解技術
井上 隆広 
Songle Sync フレームワーク設計・開発、開発キット(API)設計・開発
尾形 正泰 
Songle Sync ハードウェア設計・開発、デモルーム統括・設計・設営
加藤 淳  
Songle Sync 開発キット(チュートリアル、サンプル)設計・開発
石田 啓介 
Songle Sync アプリ開発(CGアニメーション)
田中 利枝
パネルデザイン・制作
土田 修平 
Songle Sync アプリ開発(電飾衣装制御)
中村 裕美 
Songle Sync アプリ開発(照明機器制御)
川崎 裕太 
Songle 開発・運用
Jordan Smith 
Songle用音楽理解技術
濱崎 雅弘 
利用規約、プライバシーポリシー

法務アドバイザー(骨董通り法律事務所)

福井 健策
法務アドバイス
橋本 阿友子
法務アドバイス

お問い合わせ

不具合・ご意見などは Songle Project <songle-api-ml [at] aist.go.jp> までご連絡ください。