[Meta Dreamers]
UXDev by GREE VR Studio Laboratory
ツユハナビ ft.菜那
ジメジメした雰囲気…やらなきゃいけないこといっぱい…挑戦したいこと…どうやったらいいかわからないこと…。
正しい答えなんてどこにもない、やりたいことを、みんなで一緒にやるにはどうしたらいいんだろう？
メタバースの世界の学校で出会ったREALITYのアバターたち (Miku, Damivo, Yahagi, Belle) が、スクールバンド「Meta Dreamers」を結成するまでのお話です。
オリジナル楽曲「ツユハナビ」とともにお送りします。熱い夏はもうすぐです！
“なりたい自分で、生きていく”
本映像プロジェクト[UXDev]シリーズは、REALITY株式会社GREE VR Studio Laboratoryが、近未来のメタバース技術やユーザー体験を可視化するために制作したものです。
楽曲演奏はGREE VR Studio Laboratoryのスタッフにより、モーションキャプチャー技術とAIモーション生成の融合技術「AI Fusion」で制作されています（詳細リリース）。
News
- [2023/8/31] 楽曲「ツユハナビ」UGCライセンスを公開しました
- [2022/12/6] AI Fusionに関する学術発表をSIGGRAPH ASIA 2022にて予定しています。
- [2022/11/5] AI Fusionに関する学術発表をNICOGRAPH2022にて予定しています。
「アバターによる自然な演奏表現 – 弦楽器における AI Fusion 理論と実装」 - [2022/10/19] GREE VR Studio Laboratory、メタバース時代のアバターを活用したクリエイターエコノミーを刺激～バーチャル演奏技術映像 「AI Fusion」を公開～ https://prtimes.jp/main/html/rd/p/000000239.000021973.html
- [2022/8/20] アルバム「ツユハナビ the Etudes」リリースhttps://linkco.re/85NQhps5
- [2022/8/15] ブログ公開「メタバースの研究開発をミュージックビデオで表現する」
- [2022/8/10] シングル「ツユハナビ ft.菜那」リリースhttps://linkco.re/TnCdtFQZ
- [2022/8/5] 演奏技術について解説「メタバースをやりたい学生さんにおくるインターン退社ブログ」
- [2022/7/27] MetaDreamers “Virtual Drum Play” AI fusion Breakdown – バーチャル演奏技術解説動画公開
- [2022/7/26] Meta Dreamers – UXDev by GREE VR Studio Laboratory – ツユハナビ ft.菜那 リリース
オリジナル楽曲「ツユハナビ」
知らない誰かが流した涙
分厚い雲に囲まれて
まるで私達みたい、なんて
生きている心地がしなかった
一枚の紙を日が照らす
みんなの熱い眼差し
期待に応えたい思いと共に嫌な記憶
私だってひとりの人間
人と違うのは悪いことなのか、
あの夏まで 手を伸ばして
叶わないなんて言わせてやるもんか
言葉にすること全部
夢のままでなんて終わらせたくない
やりたいことが飛び交う中で
ぶつかって言い合いになって
でも目指してるもの同じなんだよ
熱い気持ち 火花が飛び散らかしてく中で
見つけた気がしたんだ
あの夏まで 思い届けて
一度しかない人生を
やりたいことで埋め尽くしてみようじゃん
あの夏まで 手を伸ばして
叶わないことなんてないんだ
満点の星に誓った
言葉にすること全部
夢のままでなんて終わらせない
虚しい、苦しい、寂しい、辛い
悔しい、痛い、煩い、くだらない
可笑しいくらい これが心地良いんだ、全部
愛しい
配信情報
シングル「ツユハナビ ft.菜那」
2022/8/10リリース
https://linkco.re/TnCdtFQZ(配信終了)
アルバム「ツユハナビ the Etudes」
2022/8/20リリース
https://linkco.re/85NQhps5(配信終了)
Behind the scenes
プロデューサーより – 白井暁彦
本プロジェクト「Meta Dreamers」は、前作のUXDevティザー動画「メタバースクールの新学期～REALITYの未来に咲く花」（https://vr.gree.net/lab/uxdev/22q3/）での「メタバース空間での学校体験」に引き続き、日本のアニメ的な学園生活を起点にしたメタバースにおいて、新しいユーザ体験、特にロックバンドのデモビデオを撮影するという体験を可視化しました。音楽フェスティバルへの動くバナーポータル、友達と手をつながなければ利用できないポータル、魅力的なエージェント「REALITYくん」、SF的な着替えと幻想的な亜空間移動…そして何よりやりたいことを何でも自分らしく表現できる「自然すぎる楽曲演奏」…すべてがバーチャルライブ配信アプリ「REALITY」( https://reality.app )のユーザにとって「スマホから地続きの近未来で、メタバースならではの全く新しいユーザー体験」を可視化することに取り組みました。動画の中ではMeta Quest2 でプレイ可能なHMD版REALITYの演奏体験も含まれています。今後の技術開発ではスマホやVR機器で遅延を体感しないレベルまで最適化する画像処理・音声信号処理やAIアシスト技術、さらにメタバース空間内でのコミュニケーション技術やユーザーさんの文化醸成などが必要です。今後も優れた企業や大学のパートナーとともに、そして世界中のREALITYのユーザさんとともに世界最高のメタバース体験開発[UXDev]の研究をリードしていきたいと思います。世界最大のCG技術の国際会議「SIGGRAPH2022」での発表など、日本発のメタバース産業の特徴を描く作品として公開していく予定ですが、技術的な凄さだけでなく、音楽を演奏し、生き生きとした歌を歌い、オンラインのフレンドたちとクリエイティブなコミュニケーションを楽しむ自然な世界観とともに、メタバースの未来やこの分野の研究開発の可能性を伝えられれば幸いです。
This project, “Meta Dreamers“, follows the school experience in metaverse in the previous UXDev teaser video series, “Back to Metaver-School“.
In a metaverse that takes anime-like school life as its starting point, we visualized a new user experience, specifically the experience of shooting a demo video for a rock band. Frictions between members, a moving banner portal to a music festival, a portal that can only be used by connecting hands with friends, an attractive agent “REALITY-kun”, a sci-fi change of clothes and fantastic subspace movement… and above all, “too natural music” where express whoever you want to do in your own way. All worked to visualize a new user experience bring to the Metaverse, in the near future, connected from the virtual live-streaming app REALITY (https://reality.app). The song, “Tsuyuhanabi” had been originally produced for this project, and all avatars play the music impressively thanks to AI Fusion technology.
The video includes a performance experience of the HMD version on Meta Quest2. Future technological development will require image and audio signal processing and AI-assist technologies that can be optimized to a level where no delay is experienced on smartphones and VR devices, as well as communication technologies within the Metaverse space and fostering a culture of users. We will continue to lead the world’s best metaverse experience development [UXDev] research with excellent corporate and university partners, and with REALITY users around the world. We plan to release a work that portrays the characteristics of the metaverse industry from Japan, including a presentation at SIGGRAPH2022, the world’s largest international conference on computer graphics technology, but it will not be limited to technical awesomeness. We hope to convey the future of the metaverse and the possibilities of research and development in this field, along with a natural worldview of playing music, singing lively songs, and enjoying creative communication with online friends.
Producer: Akihiko SHIRAI, Ph.D
技術解説 – Technical Breakdown
バーチャル演奏技術 「AI Fusion」
「Meta Dreamers」での楽器演奏はモーションキャプチャによる動作とAI(分類器)によるモーション融合技術「AI Fusion」で自然な演奏を実現しています。楽器が演奏できない人でも、実質演奏できる 「バーチャル演奏技術」 といえます。
この動画はMIDI楽譜からの自動生成のみで実験中のドラム担当Damivoちゃんの練習の様子です。
Internal test at 9th July 2022
「AI Fusion」に至るまでの技術解説
GREE VR Studio LaboratoryではREALITYのアバターが活躍するメタバースの近未来におけるユーザ体験を開発しています。この技術が将来、どんな使い道を持つかインスパイアされた人は、ぜひ他の研究にも興味を持ってくださいね！
Download - Tsuyuhanabi UGC License
CREDITS – Meta Dreamers
[Cast]
REALITY Avatars
Miku, Yahagi, Damivo, Belle
[GREE VR Studio Laboratory]
https://vr.gree.net/lab/uxdev
Storyboard & Assistant Director: Tomosuke Nakano
Environment & 3DUI : Takanori Horibe
Music animation system: Miku Takemasa
Effect Artist: Alexandre Berthault
Technical Director: Kato – Yahagi – Takuma
Film Editing: Setsuna Creation, GK.
HMD Experience: GONBEEE project
Producer & Director: Akihiko SHIRAI, Ph.D
[Music]
Song: ツユハナビ/ “Tsuyuhanabi”
Composer & Lyricist: Nana
Music Supervisor: Fumiyoshi Kamo
Arrange, Programming and Guitar&Bass play: Norimasa Nagata
[Special Thanks]
Acting Supervisor: Shigeru Araki
Motion Capture Studio: Crescent, Inc.
Made by Unity / Avatar by REALITY
Executive Producer: Eiji Araki / DJ RIO, REALITY, Inc.
And all REALITY users!
GREE VR Studio Laboratory – UXDev
(C) GREE, Inc. / (C) REALITY, Inc. /
GREE VR Studio Laboratory 2022