VibeShare Demo

「VibeShare」は、従来の映像ストリーミングだけでは伝わりづらかった『配信者と視聴者のあいだにある非言語エモーション』を共有する、XRライブエンターテインメントのためのインタラクティブ技術です。

https://youtu.be/HFegJyePXJE
VibeShare:Live entertainment technology that conveys the audience’s passion for the performers

機能

VibeShare : Vote

視聴者の感情を投票する機能

Upgrade with Tokyo 発表でのVibeShare : Vote 活用事例

VibeShare : Vote ではスマホやPCのブラウザから、視聴者が感じていることを簡単に投稿・シェアすることができ、主にオンラインで行われる学校の授業や講演、コンテストの発表会などにピッタリな機能です。

視聴者はQRコードをスマホで読み取り、ブラウザに表示されるエモートボタンをタップするだけで出演者および配信画面内にそのエモートを送ることができます。

出演者は観客から送られてきたエモートを画面で見れるほか、触覚デバイスを使用することでエモートに応じた振動を感じることができ、視聴者の存在感を肌で感じることができます。
また、配信ソフト(例:OBS)のブラウザソースで所定のURLを取り込むだけで、エモートや集計グラフを簡単に合成することができます。
視聴者から投稿されたエモートは逐一記録され、その集計結果はブラウザの集計グラフ表示ページにてリアルタイムに反映されます。それを配信画面に取り込んだり、後からCSV形式でダウンロードすることも可能です。

VibeShare Vote : システム概要図

VibeShare : Live

観客のリアクションを出演者とリアルタイムに共有

VibeShare : Live

VibeShare : Live では、観客の熱い想いを遠く離れた出演者にリアルタイムで届けます。オンラインでの音楽ライブにぜひご活用いただきたい機能です。

観客の”想い”をテキストチャットだけではなく、スマホの画面をタップしたり、ペンライトのように振ったり、あるいは実際に行った拍手や歓声、表情などを、音声認識や画像処理を駆使して出演者に届けます。

出演者はそれらの”想い”を、画面上やプロジェクションマッピング、LEDによる電飾といった形で視覚的に受け取ったり、触覚デバイスを身に着けることで演奏中や講演中でもリアルタイムに体感することができます。

VibeShare : Touch

Virtual 空間内でも触覚を感じられる

https://youtu.be/bj_Tr-zinNU?t=4750
VTuber “Invisible gameplay” in VTech Challenge 2019 final

VibeShare は Virtual 空間内の皆さんに新しい”触覚”を提供します。
Virtual 空間内での触った/触られた感覚や、ハグをした時の心臓の鼓動、ド派手な必殺技を受けた時の衝撃を生身で体感できたり、目に見えないものの位置を触覚で感じる、といった第六感の獲得も可能です。詳しくは、ぜひ上記動画をご覧ください!

VibeShare : GamePlay

観客と協力してプレイするライブゲーム

https://youtu.be/UbakKnUxHE8
LiveHapTD 観客と協力して戦うライブゲーム

VibeShare は新しい視聴者協力型ライブゲームを開拓します。

コンセプトゲーム、”視聴者協力型触覚タワーディフェンスゲーム(LiveHapTD)”では、視聴者からのコメントによってプレイヤーの銃を強化したり、敵の弱体化や居場所の探知を可能とすることで、視聴者と力を合わせて敵を倒していく、といった協調体験が楽しめます。プレイヤーだけでも、視聴者だけでもクリアできないゲーム設計となっているため、プレイしていくうちにお互いの一体感が増大していくのが体感できます。

以下の動画にて GREE Tech Conference 2020 の発表中にスイス在住の VTuber、Mila さんと視聴者さんが LiveHapTD を協力しながらプレイし、新たな視聴者協力型ライブゲームの可能性が実感できました。

https://youtu.be/KhOgvaF8-oo?t=329

ユースケース

ミュージックバー [Real Diva’s] で、リモートの観客と出演者を VibeShare で繋げる PoC 実験

https://youtu.be/RFvXFXpcypw?t=3146
Real Diva’s 春フェス Day3

六本木のミュージックバー「Real Diva’s」さんを舞台に 3⽉24⽇〜26⽇の3⽇間限定でリモートの視聴者の想い・拍⼿・エールをアーティストや店舗に直接届けることのできる実験的な音楽ライブの実証実験を行いました!当日(day 3)のライブの様子を上の動画からご覧ください。(他の開催日の動画はこちら:day1day2

  • 実証実験では会場に配置したプロジェクターから、視聴者から送られた👏🍹💰🌸エモートを投影することで、会場を華やかに演出しました。
  • 演奏の終了時に👏エモートに応じて会場内で拍手音を流すことで本当に大勢の観客がその場にいるような存在感を演出することに成功しました。演奏終了から拍手が送られるまでの遅延がほとんど無いことにご注目ください!
  • 💰エモートが贈られた時に、アーティストが装着しているネックレス型触覚デバイス Hapbeat から振動が伝えること、演奏中でも投げ銭が贈られたことを知覚していただくことに成功しました。💰につい微笑む演奏者の表情をお楽しみください!(例:day 3 動画時刻11:20
画像に alt 属性が指定されていません。ファイル名: image-1024x647.png
離れたお客さんの思いが伝わった瞬間、演奏が終わった瞬間の拍手…無観客ライブでは実現できない本当の熱狂が伝わってきます!
  • VibeShare のログ機能から視聴者からエモートがいつ送られたかを詳細に分析しました。その結果、曲の始めが🌸多め、途中から🍹の割合が増える、曲終了後👏が贈られる時間・量が長い、出演者から観客への呼びかけに応じたエモートが送られている、ということがデータから明らかになりました。
画像に alt 属性が指定されていません。ファイル名: image-1-1024x429.png
Day3 の詳細解析結果例。=👏、=🍹、=💰、=🌸、縦軸:タップ数、横軸:時刻

Real Diva’s YouTubeチャンネル
https://www.youtube.com/channel/UC2e1Afiv_wH0CeSgZiY5xoQ

国際ライブパフォーマンス

https://youtu.be/yTrDRKazksM?t=166
Real-Time Live in SIGGRAPH Asia 2019

SIGGRAPH Asia 2019 Real-Time Live! にて、3名のVTuberの方々が東京から約7000km 離れたオーストラリア会場にリモートで出演し、現地のリアル出演者1名を合わせた計4名が Virtual 空間内で協調してパフォーマンスを行いました。オーストラリア会場に設置したマイクから観客の声援量や拍手量を取得・解析し、その度合いに応じて、

  • 制御した振動を出演者に伝達
  • Virtual 空間内に “パオズ” や “紙吹雪” を降下
  • LEDのイルミネーションを制御(現地出演者が装着)

を行うことで、観客のリアクションを出演者に伝えたり、パフォーマンスの演出として活用することができ、パフォーマンスをより一層盛り上げることに成功しました。

発表実績

[2021/3/18] ミュージックバー [Real Diva’s] で、リモートの観客と出演者を VibeShare で繋げる PoC 実験

[2021/2/16] VibeShare を共同開発しているHapbeat社が東京都スタートアップピッチイベント「Upgrade with Tokyo」にて最終選考5社とともにライブプレゼンを行いました。

https://youtu.be/za7RUfakpUw?t=2907
UPGRADE with TOKYO 第11回『通信技術・デジタル機器を活用した都立文化施設のアクセシビリティ向上』東京都産業労働局 48:00-

[2021/1/1] 新技術の公開実験を行っております (詳細)
Join to our new experiment until 8th Jan 2021 (detail)

[2020/12/11] 企業研究に特化したカンファレンス CCSE2020 にて、”観客の想いを出演者に伝える熱狂共有技術「VibeShare」” と題して発表しました。

[2020/10/23] VTechChallenge2020 にて観客の感想をエモートで出演者に伝えたり、観客投票を集計する目的で VibeShare が活用されました。

[2020/9/18]GREE Tech Conference2020 にて VTuber・XRライブエンタメ駆動の研究開発 – GREE VR Studio Laboratory のR2D と題して発表致しました。

[2020/2/24] VTechChallenge2019にて、VTuber に “Virtual 触覚” を提供

[2019/11/20] Real-Time Live in SIGGRAPH Asia 2019

お問い合わせ

「VibeShare」はグリー株式会社の商標です。
VibeShare実験で使用されるシステムにはグリー株式会社の特許及び特許出願中の技術が含まれている可能性があります。
ご利用に関しては jp-gi-vr@gree.net までお問い合わせください。

[Lab] [Demo]