Songroid（ソングロイド）とは

音楽に連動したCGキャラクタのダンスアニメーション鑑賞サービス

(http://songroid.jp) [α版を試験公開中]

• 三次元CGキャラクタが踊るアニメーションを見て楽しめるサービス
  • 能動的音楽鑑賞サービスSongleと連携してダンスを自動生成
  • キャラクタと背景をWebブラウザ上でリアルタイムにレンダリング
  • マウス操作でカメラ位置やズームを自在に変えながら楽しめる
    • 右クリックしてドラッグ：カメラ回転
    • 左クリックしてドラッグ：カメラ平行移動
    • スクロール：ズーム
      
• ダンス分析技術に基づいて好みのダンスを探して楽しめる
  • 「すごい」「かわいい」「かっこいい」動作を探せるシーク機能
  • 動作に対してどのようなコメントが付きやすいかを自動推定

Songroidの実現方法

ダンス自動生成技術：動作を機械学習し素材の切り貼りでない生成を実現

• 印象空間を通じたダンス動作の生成
  • 機械学習によってダンス動作と音楽を共通の印象空間に対応付けて分析
  • 与えられた音楽の印象に最も近い印象を与えるダンスを生成

• 確率モデルで特徴的なダンス動作を機械学習
  • ガウシアンプロセス回帰に基づいて、似た特徴を持つ複数のダンス動作から、
    その特徴を持つ動作を確率的に生成できる「ダンス語彙」を学習
  • 連続時間でダンス動作を出力できる確率モデルとすることで、
    分析区間中のダンス動作の異なるデータポイント数に対応可能
  • 分散パラメタを変化させることできびきびした動作やなめらかな動作を生成可能

ダンス分析技術：似た印象を持つ動作のシーク機能を実現

• 印象を表わすコメント「すごい」「かわいい」「かっこいい」のコメントが付きそうな動作を推定

Songroidの今後

ダンス動作の自動生成技術が切り拓く新しいダンス創作のかたち

• ダンスアニメーション創作支援サービスへの発展
  • インタラクティブにダンスを制作できるインタフェース構築
  • ダンス自動生成手法を応用してダンス動画を手軽に制作可能に
• 楽曲のより深い理解を反映したダンスの自動生成
  • 音楽理解技術を活用し楽曲の内容に連動し構成をもつダンスを自動生成

Songroidの学術文献

Songroidのコア技術である音楽に連動するダンスの自動生成技術は、以下の論文で議論されています

1. Music Content Driven Automated Choreography with Beat-wise Motion Connectivity Constraints,
   Satoru Fukayama, Masataka Goto, Proceedings of the 12th Sound and Music Computing Conference (SMC2015), pp.177-183, 2015/06
   • 学術論文等でSongroidに言及していただける際には、こちらの論文を引用してください
   • Songroidのダンス生成エンジンの中核をなす技術の論文：音楽分析技術を活用しながら、音楽の内容に即したダンスを自動生成する研究
2. MachineDancing: ポーズの変化に関する大局的制約と音楽と動作の局所的制約を同時に考慮したダンス自動生成手法,
   深山 覚, 後藤 真孝, 情報処理学会 研究報告 音楽情報科学研究会, 2017-MUS-116-2, pp.1-6, 2017/08
   • （最新）１曲のダンスを通じたポーズの大域的な変化を制御するための技術の研究
3. Automated Choreography Synthesis Using a Gaussian Process Leveraging Consumer-Generated Dance Motions,
   Satoru Fukayama, Masataka Goto, Proceedings of ACE2014, Article No.23, 2014/11
   • ガウシアンプロセスを用いて、潜在空間中の周期性を持った軌跡を機械学習し、周期的なダンス動作を生成する研究
4. MachineDancing: ダンス動作データの自動分析に基づく音楽に連動したダンス生成手法,
   深山 覚, 後藤 真孝, 情報処理学会 研究報告 音楽情報科学研究会, 2014-MUS-104-14, pp.1-7, 2014/07
   • ガウシアンプロセスを使ってダンス動作をモデル化し、音楽に合わせたダンスを自動生成する研究

注意事項

• 研究目的での実証実験中であり、メンテナンスのための停止や動作に不具合がある可能性があります。
• ダンスに同期して再生される音楽はSongroidを経由せずに、直接ストリーミング再生されます。
  ストリーミング元の音楽が削除されていると、再生できません。
• Songroidで用いられている三次元CGキャラクタは、OngaCRESTプロジェクトが研究目的で制作したオリジナルキャラクタです。
• Songroidを個人的な視聴以外の目的で使うことはご遠慮下さい。

必須環境

• Google Chrome 最新版

開発メンバー

• 深山 覚 / Satoru Fukayama （産業技術総合研究所）
• 井上 隆広 / Takahiro Inoue （産業技術総合研究所）
• 後藤 真孝 / Masataka Goto （産業技術総合研究所）

連絡先

産業技術総合研究所 情報技術研究部門 メディアインタラクション研究グループ

次のアドレスまでメールをお送りください。
e-mail: songroid-ml [at] aist.go.jp
「 at 」を「@」に置き換えてから送信してください。