Laboratory

GREE VR Studio Laboratory

GREE VR Studio Laboratory

GREE VR Studio Laboratoryは、グリーグループでメタバース事業やXRライブエンタメ事業を推進するREALITY株式会社(reality.inc)の研究開発部門です。バーチャルライブ配信アプリ「REALITY」が持つ知見や経験を、日本国内の大学・企業・研究機関等と共有し、知財開発およびスピード感のある社会実装、品質向上、技術発信によってメタバースの未来開拓に貢献しています。


GREE VR Studio Laboratory is the research and development division of REALITY Inc. ( https://reality.inc ), which drives the Metaverse and XR live entertainment business within the GREE Group. We share the knowledge and experience of our virtual live streaming application “REALITY” with universities, companies and research institutions, and contribute to the future of the metaverse through intellectual property development, rapid social implementation, quality improvement and technology dissemination.
The Metaverse industry, one of GREE’s focus areas, is a field that requires a wide range of entertainment technologies, including animation, games, and web3 technologies for live distribution. The technological elements that make up these technologies include real-time 3D graphics for game development, motion capture and server technologies, as well as motion generation, actor support, display technologies, interaction technologies, artificial intelligence applications, and web3 technologies suitable for live entertainment. These range from character design, emotional analysis, and audience culture research and analysis. Research and development in these new fields is difficult to analyze and solve with existing in-house R&D methods alone, and it is becoming a global standard to implement cutting-edge technologies and methods through industry-academia cooperation, internships, and cooperation with start-up companies.
In this context, the VR Studio Laboratory was established in conjunction with the GREE VR Studio, which plans, develops, and distributes VR games and other products.

The three basic policies are as follows:
(1) UXDev of VTuber/XR entertainment-related technologies
(2) Strengthen cross-industry R&D cooperation
(3) Promoting the industry, supporting the discovery and development of innovative human resources.

The knowledge and experience of REALITY Corporation’s virtual live streaming application development team, which promotes the XR live entertainment and communication business within the GREE Group, is shared through communication with researchers and students from universities, companies, and research institutions in Japan to promote intellectual property development and speed up the company’s contribution to social implementation, quality improvement, and technology dissemination.
https://www.youtube.com/watch?v=gQ2ydipf8z8

グリーが注力している分野の一つであるメタバース事業は、アニメーションやゲーム、ライブ配信にWeb3技術など、多岐にわたるエンターテインメント技術が必要とされる分野です。それらを構成する技術要素はリアルタイム3Dグラフィックスや、モーションキャプチャー、サーバー技術などがあり、加えて、ライブ・エンターテインメントに適したモーション生成や、演者支援、ディスプレイ技術、インタラクション技術、人工知能応用、キャラクター設計、エモーション分析、視聴者文化の調査分析など多岐にわたっています。このような新しい分野の研究開発は既存の企業内R&D手法だけでは問題分析や課題解決が難しく、より深いUX開発、わかりやすい映像での解説、産学連携やインターンシップ、スタートアップ企業との連携などを通して、最先端の技術や手法を実装していくことが世界的なスタンダードとなりつつあります。

そうした中、GREE VR Studio Laboratory は、VRゲームなどを企画、開発、配信してきたGREE VR Studioと併設され、
(1) メタバース関連技術のUXDev
(2) 異業種R&D連携強化
(3) 業界振興・イノベーション型人材の支援発掘や育成
の3つを基本方針として活動しています。
グリーグループでXRライブエンタメ事業を推進する REALITY株式会社 のバーチャルライブ配信アプリ「REALITY」開発チームの持つ知見や経験を、日本国内の大学・企業・研究機関などの研究者や学生等とのコミュニケーションを通じて共有し、メタバース時代の知財開発およびスピード感のある社会実装、品質向上、技術発信に貢献しています。

Research

SNS

・Twitter https://twitter.com/VRStudioLab
・YouTube Channel https://j.mp/VRSYT
・GREE技術ブログ https://labs.gree.jp/blog

Updates

Publications

GREE VR Studio Laboratoryの出版物と発信活動について

学術出版物

2023

  1. Kai Kohyama, Alexandre BERTHAULT, Takuma Kato, Akihiko Shirai, “AI-Assisted Avatar Fashion Show: Word-to-Clothing Texture Exploration and Motion Synthesis for Metaverse UGC”, SIGGRAPH 2023 Posters. [Web]
  2. Alexandre Berthault, Takuma Kato, Akihiko Shirai, “Avatar Fusion Karaoke: research on multi-user music play VR experience in metaverse”, IEEE MetaCom (International Conference on Metaverse Computing, Networking and Applications) June 26-28, 2023, Kyoto, Japan. [Web][PDF][Deck]
  3. 白井暁彦「文化・技術・研究史で読み解く令和のメタバースの研究開発」,電子情報通信学会, 通信ソサイエティマガジン No.64 春号 2023, p.285-294 [PDF]

2022

  1. Takuma Kato, Tomosuke Nakano, Takanori Horibe, Miku Takemasa, Yusuke Yamazaki, Akihiko Shirai, “Cross-platforming “School life metaverse” user experience”, SIGGRAPH Asia 2022 Posters (2022/12/01) [Web][DOI]
  2. Yusuke Yamazaki, Takanori Horibe, Akihiko Shirai, “Evaluation of time-shifted emotion through shared emoji reactions in a video watching experience”, CyberWorld2022 (2022/9/27) [SlideShare][IEEE Explore] Best short paper award
  3. 白井暁彦, 「メタバースの定義，歴史と事例からみる 今後のビジネス展望」 研究開発リーダー Vol.19, No.1 2022, pp.57-60. (2022/4/20) [PDF]
  4. 中野友介, 加藤琢磨, 武政実玖, 堀部貴紀, 白井暁彦, “Metaverse Christmas”, 映像表現・芸術科学フォーラム2022 (2022/03/08) [Web]
  5. 山崎勇祐, 白井暁彦, “VibeShare::Maptop – 写真撮影・同時参加型バーチャル旅行システムの開発と評価”, インタラクション2022 (2022/02/21) [Web]

2021

  1. 白井暁彦, 中野友介, 堀部貴紀, ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成(Developing next-generation creators through research and development in voice changer services), デジタルハリウッド大学 研究紀要第8号, (2021/11/25), [PDF], [SlideShare]
  2. 山崎勇祐(REALITY/東京工業大学大学院), 白井暁彦(REALITY)「VibeShare::Performer — Emoji・触覚・音効によるオンライン音楽ライブの双方向化」, 第26回日本バーチャルリアリティ学会大会 (2021/9/12). {Web} {PDF}{SlideShare}
  3. 堀部貴紀(REALITY/明治大)，橋本順之(グリー)，白井暁彦(REALITY)，森勢将雅(明治大), 「FFT ライブラリを対象とした実時間Vocoder の速度比較」, 日本音響学会2021年秋季研究発表会(2021/9/8), {Web} {SlideShare}
  4. Yusuke Yamazaki, Akihiko SHIRAI, “Pseudo Real-Time Live Event: Virtualization for Nonverbal Live Entertainment and Sharing”, Laval Virtual 2021 ConVRgence, 2021/7/7. [Web] [Abstract] [Poster]
  5. 堀部貴紀(REALITY/明治大)，白井暁彦(REALITY)，森勢将雅(明治大),「『転声こえうらない』を通したボイスチェンジャー品質改善のための定性分析と考察」, 日本音響学会2021年春季研究発表会, [Web], [Slides], [SlideShare] (2021/3/11)
  6. 山崎勇祐, 白井暁彦, 「VibeShare:Vote ～オンラインでの出演者と観客の非言語コミュニケーションの実現～」, 映像表現・芸術科学フォーラム2021（Expressive Japan 2021), [Abstract], [Slides], [SlideShare] (2021/3/8)

2020

  1. 「賛助会員紹介 グリー株式会社／ REALITY 株式会社 GREE VR Studio Laboratory」, 日本バーチャルリアリティ学会誌第25巻4号 (2020/12/31)
  2. 白井暁彦, 堀部貴紀, ブレディキーナ リュドミラ, 山崎勇祐, 坂口塔也, 中村清人, 栢之間諒汰, 「【研究ノート】 Mozilla Hubsを用いたオンラインイベントのWebVR化」, DHU JOURNAL Vol.07 2020. (2020/11/26)
  3. Liudmila Bredikhina, Toya Sakaguchi, Akihiko Shirai, “Web3D Live Distance Workshop for Children in Mozilla Hubs”, Web3D ’20: The 25th International Conference on 3D Web Technology, 9th, November 2020, Article No. 27, Pages 1–2, [Best Poster Awards 2nd Prize]
  4. 坂口塔也, 山崎勇祐, Bredikhina Liudmila, 白井暁彦, 「交流型WebVRにおける空間音響のオンライン評価手法」, 第25回日本バーチャルリアリティ学会大会論文集, 2020-9-16 [PDF][Slides]
  5. 堀部 貴紀, 石原 達馬, 白井 暁彦, 森勢 将雅; 『転声こえうらない』利用者の基本周波数分析, 情報処理学会研究報告, 2020-05-30 (URL) [SlideShare] [Awarded]

2019

  1. 白井暁彦, “VR4.0 -リアルタイムバーチャルキャラクターが牽引する VR産業における基盤研究“, 2019年度デジタルハリウッド大学紀要, 2019-11-29
  2. Yusuke Yamazaki, Hironori Mitake, Akihiko Shirai, Shoichi Hasegawa, “Widespread Hapbeat: Tension Based Necklace Type Haptic Display”, Proceedings of the International Display Workshops Volume 26 (IDW ’19), 2019/11/27, [DOI] [PDF]
  3. Akihiko Shirai. 2019. REALITY: broadcast your virtual beings from everywhere. In ACM SIGGRAPH 2019 Appy Hour (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 5, 1–2. DOI: https://doi.org/10.1145/3305365.3329727
  4. Yusuke Yamazaki, Shoichi Hasegawa, Hironori Mitake, and Akihiko Shirai. 2019. Neck strap haptics: an algorithm for non-visible VR information using haptic perception on the neck. In ACM SIGGRAPH 2019 Posters (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 60, 1–2. DOI: https://doi.org/10.1145/3306214.3338562
  5. Rex Hsieh, Akihiko Shirai, and Hisashi Sato. 2019. Effectiveness of facial animated avatar and voice transformer in elearning programming course. In ACM SIGGRAPH 2019 Posters (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 82, 1–2. DOI: https://doi.org/10.1145/3306214.3338540
  6. Rex Hsieh, Akihiko Shirai, and Hisashi Sato. 2019. Evaluation of Avatar and Voice Transform in Programming E-Learning Lectures. In Proceedings of the 19th ACM International Conference on Intelligent Virtual Agents (IVA ’19). Association for Computing Machinery, New York, NY, USA, 197–199. DOI: https://doi.org/10.1145/3308532.3329430
  7. 舘暲, 岩田洋夫, 安藤英由樹, 小泉直也, 中村拓人, 吉元俊輔, 白井暁彦, 長谷川晶一, IVRC2019（第27回 国際学生対抗バーチャルリアリティコンテスト）開催報告, 日本バーチャルリアリティ学会誌, 2019, 24 巻, 4 号, p. 39-43, 公開日 2021/04/08 

* This listing is ordered by new to old.

Lecture & Talks

特に記載なき場合発表者はディレクター白井暁彦による
Unless noted issues were talk by the Director Akihiko SHIRAI, Ph.D

2023

  1. 画像電子学会 Advanced Image Seminar 2023 (AIS2023)「UX開発から生成AIへ ～メタバース研究開発におけるユーザ生成コンテンツとコミュニケーション設計」(2023/6/23) [PDF][Deck]
  2. 日本機械学会 情報・知能・精密機器部門（IIP部門）講演会「人間×機械×知能 メタバースにおけるユーザーエクスペリエンスの研究開発」 2023年3月6日[PDF][Deck]
  3. Developpers Summit 2023「AI神絵師はITエンジニアの未来をどう変えるのか？～メタバースR&DからみたAI画像生成のトレンド～」(2023/2/10)[PDF][SlideShare]

2022

  1. 「LightShip Global Jam 参加体験記～ARDKを使った人材育成」, Niantic Lightship ARDK Meetup Vol.1, (2022/1/13) [SlideShare][PDF]
  2. 「メタバース時代の人間の界面：アバター技術とUXの探求～REALITY と GREE VR Studio LaboratoryのR&D活動紹介」, 画像電子学会 Advanced Image Seminar 2022, (2022/6/14) [Web]
  3. 「有野いくのオキュっていいとも！【飯とVR】メタバースと肉をテーマに白井博士に訊く！」(2022/6/21) [YouTube]
  4. [CEDEC2022] パネルディスカッション：WebXRメタバースの挑戦 in CEDEC2022 ～Mozilla Hubs活用事例と課題共有～
  5. [CEDEC2022] オープンソースで構築するWebメタバース～Mozilla Hubsで学ぶUX開発から運用コスト最小化まで [Slides]
  6. Entertainment VR to Metaverse – “Creating People who creates”, Cyberworlds2022 Keynote (2022/9/27)
  7. 白井暁彦, 堀部貴紀, 中野友介, 加藤琢磨, Alexandre Berthault, “GREE VR Studio Laboratory – UXDev R&D Summary 2022”, GREE Tech Conference 2022 (2022/10/25) [YouTube]
  8. 明治大学FMSコンテンツ・エンタテインメント概論 (2022/11/15)
  9. 白井暁彦, 中村清人, 春山一也, “人が来るメタバース2022 ～ REALITY XR cloudが推進するメタバースのBizDevOps”, XR Kaigi 2022 (2022/12/16) [YouTube]

2021

  1. “REALITY: We can be whoever we want – Avatar driven metaverse service and UX R&D” in SIGGRAPH Asia 2021 Birds of a Feather “CG in Japan”. 2021/Dec/14. [SlideShare] [YouTube]
  2. “ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成”, デジタルハリウッド大学 研究論文発表会, 2021年11月25日[SlideShare] [PDF]
  3. 加藤琢磨,堀部貴紀,武政実玖,中野友介,山崎勇祐「REALITYアバターを様々なメタバースで活躍させてみた – GREE VR Studio Laboratory インターン研究成果発表」, GREE Tech Conference 2021 (2021/11/11) [Slides],[Blog],[Video]
  4. 白井暁彦, 加藤琢磨, 「GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介」, GREE Tech Conference 2021 (2021/11/11) [Slides],[Blog],[Video]
  5. GATI6
  6. 第26回VR学会大会 企業セッション-メタバース panel talk, 2021/9/13 [SlideShare]
  7. 白井暁彦,山崎勇祐「VibeShare: コロナ禍の音楽ライブを「触覚」で双方向化する」, CEDEC2021, 2021/8/24 [Blog]

2020

  1. 「GREE VR Studio Laboratory – XRライブエンタメ駆動の研究開発と高速社会実装(仮)」, CCSE2020 (2020/12/11)
  2. 山崎勇祐「観客の想いを出演者に伝える熱狂共有技術『VibeShare』」, CCSE2020 (2020/12/11)
  3. XRKaigi2020「Mozilla Hubsを用いたバーチャルイベントのWebVR化～その可能性と実際～」(2020/12/10)
  4. 「VTuber・XRライブエンタメ駆動の研究開発 – GREE VR Studio Laboratory のR2D」, GREE Tech Conference 2020 (2020/9/18) [Slides]
  5. What is happening in Japanese CG research and industry now? in SIGGRAPH 2020 [YouTube]
  6. “Research and Development for Avatar-Driven Virtual Society in VR4.0 Era”, EMTECH “Desired Identities” (2020/6/27) [YouTube][Event Detail][Report in Medium]
  7. 『転声こえうらない』利用者の基本周波数分析（音学シンポジウム口頭発表）[SlideShare]
  8. 芸術動画テック部 #4 隔離と遊びの革新 ――いま、テクノロジーが起こす世界線とは (2020/5/22)
  9. Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrum (2020/5/13)
  10. “Avatar awakes new human beings” Short report from VTuber industry, Laval Virtual 2020 (2020/4/22)
  11. “Avatar driven VR society trends in Japan”, IEEEVR2020 “VRinVR” [Hubs][YouTube] (2020/3/22)

2019

  1. “VRエンターテインメントの未来” 聚逸虚拟现实工作室 Display Innovation CHINA 2019/Beijing Summit (2019/10/23)
  2. 「VR4.0をつくる仕事 GREE VR Studio Labの活動紹介」 日本バーチャルリアリティ学会大会ランチョンセミナー (2019/9/2)
  3. REALITY「なりたい自分で、生きていく」リアルタイムライブでVTuberが活躍する舞台を作る現場の1年, CEDEC2019 [Detail] [Slides]
  4. 宇宙x教育xVR＝ちゃんと学べる体感サイエンスツアー「ありえなLAB」の挑戦, CEDEC2019 [Detail][Report] (2019/9/4)

Awards

  1. [Web3D2020 : Best Poster Awards 2nd Prize] Liudmila Bredikhina, Toya Sakaguchi, Akihiko Shirai, “Web3D Live Distance Workshop for Children in Mozilla Hubs”, Web3D ’20: The 25th International Conference on 3D Web Technology, November 2020, Article No. 27, Pages 1–2.
  2. [音学シンポジウム2020 : 学生優秀発表賞]：堀部 貴紀, 石原 達馬, 白井 暁彦, 森勢 将雅; 『転声こえうらない』利用者の基本周波数分析, 情報処理学会研究報告, 2020-05-30 (URL) [SlideShare] [Awarded]

Events & Performance

  1. [mmm] Metaverse Mode Maker – Laval Virtual2023 ReVolution Research
  2. こども向けワークショップ「『メタバースで夏祭り』ゼロから作る！〜プログラミング・アバター・ワールド設計(仮)」森ビルKIDS WORKSHOP 2022
  3. オンラインワークショップ「みんなで(バーチャル)世界旅行」森ビルKIDS WORKSHOP 2021
  4. Virtual Beings World 2020 “New Play Together” in SIGGRAPH2020
  5. VTech Challenge 2019
  6. 「次世代バーチャルライブエンタメへの挑戦」大xR Tech Nagoya #8 [YouTube] (2020/12/21)
  7. “HapticMinesweeper“, xR Tech Tokyo #18 @ ソフトバンク (2019/12/11)
  8. The Real Time Live & Reception 「リアルタイムグラフィックスの世界とVTuberが牽引する新たな人類」デジタルハリウッド大学・近未来フォーラム2019 [講演レポート][YouTube] (2019/11/28)
  9. 「SIGGRAPH ASIA 2019 Real-Time Live!」5G時代のR&Dと7,154kmへの挑戦(仮), VRMコンソーシアム セミナー (2019/11/29)
  10. “Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings“, SIGGRAPH ASIA 2019 Real Time Live! [YouTube]
  11. Virtual Beings World in SIGGRAPH2019

Event detail

プレスリリース

  1. GREE VR Studio Laboratory、メタバース時代のアバターを活用したクリエイターエコノミーを刺激～バーチャル演奏技術映像 「AI Fusion」を公開～ (2022/10/19)
    https://prtimes.jp/main/html/rd/p/000000239.000021973.html
  2. GREE VR Studio Laboratory、WebVRを舞台にしたオンラインハッカソン「VTech Challenge 2020」を開催 (2020/7/15)
    https://prtimes.jp/main/html/rd/p/000000149.000021973.html

  3. グリーで最先端技術研究開発を担う「GREE VR Studio Lab」が、VTuber技術を対象にした研究チャレンジコンテスト 「VTech Challenge」の開催決定 (2019/11/14)
    https://prtimes.jp/main/html/rd/p/000000125.000021973.html
  4. グリー、最先端技術の研究開発組織「GREE VR Studio Lab」から、Webブラウザ上で無料で楽しめる「転声こえうらない」β版をリリース (2019/7/2)
    https://prtimes.jp/main/html/rd/p/000000121.000021973.html
  5. グリー、VR/ARなどの最先端技術の研究開発組織「GREE VR Studio Lab」の活動を正式に開始　〜 ディレクターにエンターテインメントVR研究者の白井暁彦（博士）が就任 〜 (2018/9/6)
    https://prtimes.jp/main/html/rd/p/000000085.000021973.html

Blog

  1. ボイチェンのFFTをさらに高速化してサーバとiPhoneで比較した話 #ASJ2021a
  2. メタバース時代の触覚UXを六本木のミュージックバーで実証実験した学生の話。 #CEDEC2021
  3. iOS Accelerateでボイチェン高速化に挑戦したインターン学生の話
  4. Mozilla Hubsの音響とアバターTips – 夏のインターン完了報告書より
  5. New ニンテンドー3DS を使ってHTC Viveの品質を向上させる

Open Source

技術書典

  1. 白井暁彦他,「Mozilla Hubs を用いたオンラインイベント WebVR 化テクニック」,グリー技術書典部誌 2020 年秋号, [Web]
  2. 白井暁彦他,「Virtual Cast と Hapbeat を使った国際双方向アバター触覚ライブの開発」,グリー技術書典部誌 2020 年春号, [Web]