VibeShare Demo

「VibeShare」は、従来の映像ストリーミングだけでは伝わりづらかった『配信者と視聴者のあいだにある非言語エモーション』を共有する、XRライブエンターテインメントのためのインタラクティブ技術です。

VibeShare:Live entertainment technology that conveys the audience’s passion for the performers

目次

機能一覧

The overview of all VibeShare functions.

Live

非言語・低遅延なライブコミュニケーションに必要なベーシックモジュールです。視聴者はお手持ちのスマホでQRコードを読み取るだけで簡単に参加でき、あらゆる配信プラットフォームで利用できます。(例:YouTube, Vimeo, Twitch, Zoom, Virtual Cast, Mozilla Hubs など)

Live 機能のコンセプト図。スマホをタップ、振る、実際に拍手や声援を送ったり、スマホで表情を読み取ったりするなど、多様な方法で観客の感情を読み取り、出演者や他の観客に共有することができます。

VibeShare : Live では、観客の熱い想いを遠く離れた出演者にリアルタイムで届けます。オンラインでの音楽ライブにぜひご活用いただきたい機能です。

観客の”想い”をテキストチャットだけではなく、スマホの画面をタップしたり、ペンライトのように振ったり、あるいは実際に行った拍手や歓声、表情などを、音声認識や画像処理を駆使して出演者に届けます。

出演者はそれらの”想い”を、画面上やプロジェクションマッピング、LEDによる電飾といった形で視覚的に受け取ったり、触覚デバイスを身に着けることで演奏中や講演中でもリアルタイムに体感することができます。

Back to Index

😄Emote

Emojiエモートのアニメーションや演出などを自由にカスタマイズ

Zoomプレゼンテーション(Upgrade with Tokyo)での使用例。
発表中に、他の登壇者や審査員がその場で参加し、プレゼン内容に関する感想を送っています。

Back to Index

📊Analyzer

観客のエモートを集計・可視化

アナライザーによる可視化の一例。観客から送られたエモートは投稿時刻などの情報と共に逐一データベースに保存されるため、公演後、どのシーンで観客の感情がどう動いたか、を詳細に振り返ることができ、パフォーマンス向上に役立ちます。

Analyzer 機能では観客から送られてきたエモートをデータベースに保存し、後からブラウザ上で参照することができます。単なるエモートの種類と量だけではなく、投稿された時刻、利用者の端、アンケートの回答結果、各種UIの設定状況など様々なデータが収集でき、多角的な分析が可能で、次回のパフォーマンスの向上に役立ちます。

Back to Index

🗳️Vote

視聴者の感想を投票・リアルタイムでグラフ化

VTechChallagne 2020 でのVote機能利用例。YouTubeLiveの視聴者から配信中その場で応募作品の感想がエモートで送られ、Hubs内に設置した投票集計グラフがリアルタイムに反映されます。

Vote 機能ではスマホやPCのブラウザから、視聴者が感じていることを簡単に投稿・シェアすることができ、主にオンラインで行われる学校の授業や講演、コンテストの発表会などにピッタリな機能です。

視聴者はQRコードをスマホで読み取り、ブラウザに表示されるエモートボタンをタップするだけで出演者および配信画面内にそのエモートを送ることができます。

出演者は観客から送られてきたエモートを画面で見れるほか、触覚デバイスを使用することでエモートに応じた振動を感じることができ、視聴者の存在感を肌で感じることができます。
また、配信ソフト(例:OBS)のブラウザソースで所定のURLを取り込むだけで、エモートや集計グラフを簡単に合成することができます。
視聴者から投稿されたエモートは逐一記録され、その集計結果はブラウザの集計グラフ表示ページにてリアルタイムに反映されます。それを配信画面に取り込んだり、後からCSV形式でダウンロードすることも可能です。

Vote 機能システム概要図

Back to Index

🖐Touch

VTuber に触覚+第六感を付与

VTuber “Invisible gameplay” in VTech Challenge 2019 final

VibeShare は Virtual 空間内の皆さんに新しい”触覚”を提供します。Virtual 空間内での触った/触られた感覚や、ハグをした時の心臓の鼓動、ド派手な必殺技を受けた時の衝撃を生身で体感できたり、目に見えないものの位置を触覚で感じる、といった第六感の獲得も可能です。詳しくは、ぜひ上記動画をご覧ください!

Back to Index

👩‍🎤Performer

観客の情熱を触覚、効果音、LEDイルミネーション、プロジェクションマッピングなどを駆使して出演者に伝達

画像に alt 属性が指定されていません。ファイル名: image-1024x647.png
Real Diva’s 春フェス Day3 観客から💰エモートが贈られると首にぶら下げている触覚デバイス(Hapbeat)が振動し、演奏中に集中していても観客の存在感を感じることができます。

Back to Index

🎬Director

現場のディレクターとオンラインの観客がリアルタイムにコミュニケーション可能

Real Diva’s 春フェス Day3 YouTubeLiveで10秒程度の遅延があるにも関わらず、Director 機能によって演奏終了直後に観客からの👏が贈られています。

Back to Index

🎮GamePlay

視聴者と協力してプレイするライブゲーム

視聴者協力型触覚タワーディフェンスゲーム(LiveHapTD)説明動画

VibeShare は新しい視聴者協力型ライブゲームを開拓します。

コンセプトゲーム、”視聴者協力型触覚タワーディフェンスゲーム(LiveHapTD)”では、視聴者からのコメントによってプレイヤーの銃を強化したり、敵の弱体化や居場所の探知を可能とすることで、視聴者と力を合わせて敵を倒していく、といった協調体験が楽しめます。プレイヤーだけでも、視聴者だけでもクリアできないゲーム設計となっているため、プレイしていくうちにお互いの一体感が増大していくのが体感できます。

以下の動画にて GREE Tech Conference 2020 の発表中にスイス在住の VTuber、Mila さんと視聴者さんが LiveHapTD を協力しながらプレイし、新たな視聴者協力型ライブゲームの可能性が実感できました。

Back to Index

🎁VirtualGifting

オリジナルのギフティングシステムで投げ銭をエンタメ化

Real Diva’s 春フェス Day2 観客から贈られた🌸💐エモートが、実物の花束になってシンガーの方に贈られました。

Back to Index

⏳TimeShift

感情を時間を超えて共有

TimeShift 機能による疑似リアルタイムライブのコンセプト。従来のリアルタイムライブではその場で見ている人どうしでしか交流ができませんでしたが、疑似リアルタイムライブでは観客のエモートが蓄積されるため、時間が経つほどそのコンテンツの魅力が増大していきます。

Back to Index

ユースケース

リモート音楽ライブ in ミュージックバー [Real Diva’s]

Real Diva’s 春フェス Day3

六本木のミュージックバー「Real Diva’s」さんを舞台に 3⽉24⽇〜26⽇の3⽇間限定でリモートの視聴者の想い・拍⼿・エールをアーティストや店舗に直接届けることのできる実験的な音楽ライブの実証実験を行いました!当日(day 3)のライブの様子を上の動画からご覧ください。(他の開催日の動画はこちら:day1day2

  • 実証実験では会場に配置したプロジェクターから、視聴者から送られた👏🍹💰🌸エモートを投影することで、会場を華やかに演出しました。
  • 演奏の終了時に👏エモートに応じて会場内で拍手音を流すことで本当に大勢の観客がその場にいるような存在感を演出することに成功しました。演奏終了から拍手が送られるまでの遅延がほとんど無いことにご注目ください!
  • 💰エモートが贈られた時に、アーティストが装着しているネックレス型触覚デバイス Hapbeat から振動が伝えること、演奏中でも投げ銭が贈られたことを知覚していただくことに成功しました。💰につい微笑む演奏者の表情をお楽しみください!(例:day 3 動画時刻11:20
画像に alt 属性が指定されていません。ファイル名: image-1024x647.png
離れたお客さんの思いが伝わった瞬間、演奏が終わった瞬間の拍手…無観客ライブでは実現できない本当の熱狂が伝わってきます!
  • VibeShare のログ機能から視聴者からエモートがいつ送られたかを詳細に分析しました。その結果、曲の始めが🌸多め、途中から🍹の割合が増える、曲終了後👏が贈られる時間・量が長い、出演者から観客への呼びかけに応じたエモートが送られている、ということがデータから明らかになりました。
画像に alt 属性が指定されていません。ファイル名: image-1-1024x429.png
Day3 の詳細解析結果例。=👏、=🍹、=💰、=🌸、縦軸:タップ数、横軸:時刻

Real Diva’s YouTubeチャンネル
https://www.youtube.com/channel/UC2e1Afiv_wH0CeSgZiY5xoQ

Back to Index

国際ライブパフォーマンス

Real-Time Live in SIGGRAPH Asia 2019

SIGGRAPH Asia 2019 Real-Time Live! にて、3名のVTuberの方々が東京から約7000km 離れたオーストラリア会場にリモートで出演し、現地のリアル出演者1名を合わせた計4名が Virtual 空間内で協調してパフォーマンスを行いました。オーストラリア会場に設置したマイクから観客の声援量や拍手量を取得・解析し、その度合いに応じて、

  • 制御した振動を出演者に伝達
  • Virtual 空間内に “パオズ” や “紙吹雪” を降下
  • LEDのイルミネーションを制御(現地出演者が装着)

を行うことで、観客のリアクションを出演者に伝えたり、パフォーマンスの演出として活用することができ、パフォーマンスをより一層盛り上げることに成功しました。

Back to Index

発表実績

[2021/3/18] ミュージックバー [Real Diva’s] で、リモートの観客と出演者を VibeShare で繋げる PoC 実験

[2021/2/16] VibeShare を共同開発しているHapbeat社が東京都スタートアップピッチイベント「Upgrade with Tokyo」にて最終選考5社とともにライブプレゼンを行いました。

UPGRADE with TOKYO 第11回『通信技術・デジタル機器を活用した都立文化施設のアクセシビリティ向上』東京都産業労働局 48:00-

[2021/1/1] 新技術の公開実験を行っております (詳細)
Join to our new experiment until 8th Jan 2021 (detail)

[2020/12/11] 企業研究に特化したカンファレンス CCSE2020 にて、”観客の想いを出演者に伝える熱狂共有技術「VibeShare」” と題して発表しました。

[2020/10/23] VTechChallenge2020 にて観客の感想をエモートで出演者に伝えたり、観客投票を集計する目的で VibeShare が活用されました。

[2020/9/18]GREE Tech Conference2020 にて VTuber・XRライブエンタメ駆動の研究開発 – GREE VR Studio Laboratory のR2D と題して発表致しました。

[2020/2/24] VTechChallenge2019にて、VTuber に “Virtual 触覚” を提供

[2019/11/20] Real-Time Live in SIGGRAPH Asia 2019

Back to Index

お問い合わせ

「VibeShare」はグリー株式会社の商標です。
VibeShare実験で使用されるシステムにはグリー株式会社の特許及び特許出願中の技術が含まれている可能性があります。
ご利用に関しては jp-gi-vr@gree.net までお問い合わせください。

[Lab] [Demo]