「VibeShare」は、従来の映像ストリーミングだけでは伝わりづらかった『配信者と視聴者のあいだにある非言語エモーション』を共有する、XRライブエンターテインメントのためのインタラクティブ技術です。
機能
VibeShare : Vote
視聴者の感情を投票する機能
VibeShare : Vote ではスマホやPCのブラウザから、視聴者が感じていることを簡単に投稿・シェアすることができ、主にオンラインで行われる学校の授業や講演、コンテストの発表会などにピッタリな機能です。
視聴者はQRコードをスマホで読み取り、ブラウザに表示されるエモートボタンをタップするだけで出演者および配信画面内にそのエモートを送ることができます。
出演者は観客から送られてきたエモートを画面で見れるほか、触覚デバイスを使用することでエモートに応じた振動を感じることができ、視聴者の存在感を肌で感じることができます。
また、配信ソフト（例：OBS）のブラウザソースで所定のURLを取り込むだけで、エモートや集計グラフを簡単に合成することができます。
視聴者から投稿されたエモートは逐一記録され、その集計結果はブラウザの集計グラフ表示ページにてリアルタイムに反映されます。それを配信画面に取り込んだり、後からCSV形式でダウンロードすることも可能です。
VibeShare : Live
観客のリアクションを出演者とリアルタイムに共有
VibeShare : Live では、観客の熱い想いを遠く離れた出演者にリアルタイムで届けます。オンラインでの音楽ライブにぜひご活用いただきたい機能です。
観客の”想い”をテキストチャットだけではなく、スマホの画面をタップしたり、ペンライトのように振ったり、あるいは実際に行った拍手や歓声、表情などを、音声認識や画像処理を駆使して出演者に届けます。
出演者はそれらの”想い”を、画面上やプロジェクションマッピング、LEDによる電飾といった形で視覚的に受け取ったり、触覚デバイスを身に着けることで演奏中や講演中でもリアルタイムに体感することができます。
VibeShare : Touch
Virtual 空間内でも触覚を感じられる
VibeShare は Virtual 空間内の皆さんに新しい”触覚”を提供します。
Virtual 空間内での触った/触られた感覚や、ハグをした時の心臓の鼓動、ド派手な必殺技を受けた時の衝撃を生身で体感できたり、目に見えないものの位置を触覚で感じる、といった第六感の獲得も可能です。詳しくは、ぜひ上記動画をご覧ください！
VibeShare : GamePlay
観客と協力してプレイするライブゲーム
VibeShare は新しい視聴者協力型ライブゲームを開拓します。
コンセプトゲーム、”視聴者協力型触覚タワーディフェンスゲーム（LiveHapTD）”では、視聴者からのコメントによってプレイヤーの銃を強化したり、敵の弱体化や居場所の探知を可能とすることで、視聴者と力を合わせて敵を倒していく、といった協調体験が楽しめます。プレイヤーだけでも、視聴者だけでもクリアできないゲーム設計となっているため、プレイしていくうちにお互いの一体感が増大していくのが体感できます。
以下の動画にて GREE Tech Conference 2020 の発表中にスイス在住の VTuber、Mila さんと視聴者さんが LiveHapTD を協力しながらプレイし、新たな視聴者協力型ライブゲームの可能性が実感できました。
ユースケース
ミュージックバー [Real Diva’s] で、リモートの観客と出演者を VibeShare で繋げる PoC 実験
六本木のミュージックバー「Real Diva’s」さんを舞台に 3⽉24⽇〜26⽇の3⽇間限定でリモートの視聴者の想い・拍⼿・エールをアーティストや店舗に直接届けることのできる実験的な音楽ライブの実証実験を行いました！当日（day 3）のライブの様子を上の動画からご覧ください。（他の開催日の動画はこちら：day1、day2）
- 実証実験では会場に配置したプロジェクターから、視聴者から送られた👏🍹💰🌸エモートを投影することで、会場を華やかに演出しました。
- 演奏の終了時に👏エモートに応じて会場内で拍手音を流すことで本当に大勢の観客がその場にいるような存在感を演出することに成功しました。演奏終了から拍手が送られるまでの遅延がほとんど無いことにご注目ください！
- 💰エモートが贈られた時に、アーティストが装着しているネックレス型触覚デバイス Hapbeat から振動が伝えること、演奏中でも投げ銭が贈られたことを知覚していただくことに成功しました。💰につい微笑む演奏者の表情をお楽しみください！（例：day 3 動画時刻11:20）
- VibeShare のログ機能から視聴者からエモートがいつ送られたかを詳細に分析しました。その結果、曲の始めが🌸多め、途中から🍹の割合が増える、曲終了後👏が贈られる時間・量が長い、出演者から観客への呼びかけに応じたエモートが送られている、ということがデータから明らかになりました。
Real Diva’s YouTubeチャンネル
https://www.youtube.com/channel/UC2e1Afiv_wH0CeSgZiY5xoQ
国際ライブパフォーマンス
SIGGRAPH Asia 2019 Real-Time Live! にて、3名のVTuberの方々が東京から約7000km 離れたオーストラリア会場にリモートで出演し、現地のリアル出演者1名を合わせた計4名が Virtual 空間内で協調してパフォーマンスを行いました。オーストラリア会場に設置したマイクから観客の声援量や拍手量を取得・解析し、その度合いに応じて、
- 制御した振動を出演者に伝達
- Virtual 空間内に “パオズ” や “紙吹雪” を降下
- LEDのイルミネーションを制御（現地出演者が装着）
を行うことで、観客のリアクションを出演者に伝えたり、パフォーマンスの演出として活用することができ、パフォーマンスをより一層盛り上げることに成功しました。
発表実績
[2021/3/18] ミュージックバー [Real Diva’s] で、リモートの観客と出演者を VibeShare で繋げる PoC 実験
[2021/2/16] VibeShare を共同開発しているHapbeat社が東京都スタートアップピッチイベント「Upgrade with Tokyo」にて最終選考5社とともにライブプレゼンを行いました。
[2021/1/1] 新技術の公開実験を行っております (詳細)
Join to our new experiment until 8th Jan 2021 (detail)
[2020/12/11] 企業研究に特化したカンファレンス CCSE2020 にて、”観客の想いを出演者に伝える熱狂共有技術「VibeShare」” と題して発表しました。
[2020/10/23] VTechChallenge2020 にて観客の感想をエモートで出演者に伝えたり、観客投票を集計する目的で VibeShare が活用されました。
[2020/9/18]GREE Tech Conference2020 にて VTuber・XRライブエンタメ駆動の研究開発 – GREE VR Studio Laboratory のR2D と題して発表致しました。
[2020/2/24] VTechChallenge2019にて、VTuber に “Virtual 触覚” を提供
[2019/11/20] Real-Time Live in SIGGRAPH Asia 2019
お問い合わせ
「VibeShare」はグリー株式会社の商標です。
VibeShare実験で使用されるシステムにはグリー株式会社の特許及び特許出願中の技術が含まれている可能性があります。
ご利用に関しては jp-gi-vr@gree.net までお問い合わせください。