[Meta Dreamers]
UXDev by GREE VR Studio Laboratory
ツユハナビ ft.菜那
Subscribe!! → j.mp/VRSYT
ジメジメした雰囲気…やらなきゃいけないこといっぱい…挑戦したいこと…どうやったらいいかわからないこと…。
正しい答えなんてどこにもない、やりたいことを、みんなで一緒にやるにはどうしたらいいんだろう？
メタバースの世界の学校で出会ったREALITYのアバターたち (Miku, Damivo, Yahagi, Belle) が、スクールバンド「Meta Dreamers」を結成するまでのお話です。
オリジナル楽曲「ツユハナビ」とともにお送りします。熱い夏はもうすぐです！
“なりたい自分で、生きていく”
本映像プロジェクト[UXDev]シリーズは、REALITY株式会社GREE VR Studio Laboratoryが、近未来のメタバース技術やユーザー体験を可視化するために制作したものです。
楽曲演奏はGREE VR Studio Laboratoryのスタッフにより、モーションキャプチャー技術とAIモーション生成の融合技術「AI Fusion」で制作されています（詳細リリース）。
News
- [2022/12/6] AI Fusionに関する学術発表をSIGGRAPH ASIA 2022にて予定しています。
- [2022/11/5] AI Fusionに関する学術発表をNICOGRAPH2022にて予定しています。
「アバターによる自然な演奏表現 – 弦楽器における AI Fusion 理論と実装」 - [2022/10/19] GREE VR Studio Laboratory、メタバース時代のアバターを活用したクリエイターエコノミーを刺激～バーチャル演奏技術映像 「AI Fusion」を公開～ https://prtimes.jp/main/html/rd/p/000000239.000021973.html
- [2022/8/20] アルバム「ツユハナビ the Etudes」リリースhttps://linkco.re/85NQhps5
- [2022/8/15] ブログ公開「メタバースの研究開発をミュージックビデオで表現する」
- [2022/8/10] シングル「ツユハナビ ft.菜那」リリースhttps://linkco.re/TnCdtFQZ
- [2022/8/5] 演奏技術について解説「メタバースをやりたい学生さんにおくるインターン退社ブログ」
- [2022/7/27] MetaDreamers “Virtual Drum Play” AI fusion Breakdown – バーチャル演奏技術解説動画公開
- [2022/7/26] Meta Dreamers – UXDev by GREE VR Studio Laboratory – ツユハナビ ft.菜那 リリース
オリジナル楽曲「ツユハナビ」
知らない誰かが流した涙
分厚い雲に囲まれて
まるで私達みたい、なんて
生きている心地がしなかった
一枚の紙を日が照らす
みんなの熱い眼差し
期待に応えたい思いと共に嫌な記憶
私だってひとりの人間
人と違うのは悪いことなのか、
あの夏まで 手を伸ばして
叶わないなんて言わせてやるもんか
言葉にすること全部
夢のままでなんて終わらせたくない
やりたいことが飛び交う中で
ぶつかって言い合いになって
でも目指してるもの同じなんだよ
熱い気持ち 火花が飛び散らかしてく中で
見つけた気がしたんだ
あの夏まで 思い届けて
一度しかない人生を
やりたいことで埋め尽くしてみようじゃん
あの夏まで 手を伸ばして
叶わないことなんてないんだ
満点の星に誓った
言葉にすること全部
夢のままでなんて終わらせない
虚しい、苦しい、寂しい、辛い
悔しい、痛い、煩い、くだらない
可笑しいくらい これが心地良いんだ、全部
愛しい
配信情報
シングル「ツユハナビ ft.菜那」
2022/8/10リリース
https://linkco.re/TnCdtFQZ
アルバム「ツユハナビ the Etudes」
2022/8/20リリース
https://linkco.re/85NQhps5
Behind the scenes
プロデューサーより – 白井暁彦
本プロジェクト「Meta Dreamers」は、前作のUXDevティザー動画「メタバースクールの新学期～REALITYの未来に咲く花」（https://vr.gree.net/lab/uxdev/22q3/）での「メタバース空間での学校体験」に引き続き、日本のアニメ的な学園生活を起点にしたメタバースにおいて、新しいユーザ体験、特にロックバンドのデモビデオを撮影するという体験を可視化しました。音楽フェスティバルへの動くバナーポータル、友達と手をつながなければ利用できないポータル、魅力的なエージェント「REALITYくん」、SF的な着替えと幻想的な亜空間移動…そして何よりやりたいことを何でも自分らしく表現できる「自然すぎる楽曲演奏」…すべてがバーチャルライブ配信アプリ「REALITY」( https://reality.app )のユーザにとって「スマホから地続きの近未来で、メタバースならではの全く新しいユーザー体験」を可視化することに取り組みました。動画の中ではMeta Quest2 でプレイ可能なHMD版REALITYの演奏体験も含まれています。今後の技術開発ではスマホやVR機器で遅延を体感しないレベルまで最適化する画像処理・音声信号処理やAIアシスト技術、さらにメタバース空間内でのコミュニケーション技術やユーザーさんの文化醸成などが必要です。今後も優れた企業や大学のパートナーとともに、そして世界中のREALITYのユーザさんとともに世界最高のメタバース体験開発[UXDev]の研究をリードしていきたいと思います。世界最大のCG技術の国際会議「SIGGRAPH2022」での発表など、日本発のメタバース産業の特徴を描く作品として公開していく予定ですが、技術的な凄さだけでなく、音楽を演奏し、生き生きとした歌を歌い、オンラインのフレンドたちとクリエイティブなコミュニケーションを楽しむ自然な世界観とともに、メタバースの未来やこの分野の研究開発の可能性を伝えられれば幸いです。
This project, “Meta Dreamers“, follows the school experience in metaverse in the previous UXDev teaser video series, “Back to Metaver-School“.
In a metaverse that takes anime-like school life as its starting point, we visualized a new user experience, specifically the experience of shooting a demo video for a rock band. Frictions between members, a moving banner portal to a music festival, a portal that can only be used by connecting hands with friends, an attractive agent “REALITY-kun”, a sci-fi change of clothes and fantastic subspace movement… and above all, “too natural music” where express whoever you want to do in your own way. All worked to visualize a new user experience bring to the Metaverse, in the near future, connected from the virtual live-streaming app REALITY (https://reality.app). The song, “Tsuyuhanabi” had been originally produced for this project, and all avatars play the music impressively thanks to AI Fusion technology.
The video includes a performance experience of the HMD version on Meta Quest2. Future technological development will require image and audio signal processing and AI-assist technologies that can be optimized to a level where no delay is experienced on smartphones and VR devices, as well as communication technologies within the Metaverse space and fostering a culture of users. We will continue to lead the world’s best metaverse experience development [UXDev] research with excellent corporate and university partners, and with REALITY users around the world. We plan to release a work that portrays the characteristics of the metaverse industry from Japan, including a presentation at SIGGRAPH2022, the world’s largest international conference on computer graphics technology, but it will not be limited to technical awesomeness. We hope to convey the future of the metaverse and the possibilities of research and development in this field, along with a natural worldview of playing music, singing lively songs, and enjoying creative communication with online friends.
Producer: Akihiko SHIRAI, Ph.D
技術解説 – Technical Breakdown
バーチャル演奏技術 「AI Fusion」
「Meta Dreamers」での楽器演奏はモーションキャプチャによる動作とAI(分類器)によるモーション融合技術「AI Fusion」で自然な演奏を実現しています。楽器が演奏できない人でも、実質演奏できる 「バーチャル演奏技術」 といえます。
この動画はMIDI楽譜からの自動生成のみで実験中のドラム担当Damivoちゃんの練習の様子です。
Internal test at 9th July 2022
「AI Fusion」に至るまでの技術解説
GREE VR Studio LaboratoryではREALITYのアバターが活躍するメタバースの近未来におけるユーザ体験を開発しています。この技術が将来、どんな使い道を持つかインスパイアされた人は、ぜひ他の研究にも興味を持ってくださいね！
メッセージ: 加茂フミヨシ (音楽監修)
メタバース高校生軽音楽部バンド「Meta Dreamers」のオリジナル楽曲「ツユハナビ」が完成しました。音楽監修・音楽プロデュースを担当させていただいた加茂フミヨシです。高校生軽音楽部の皆さんとは、バンドコンテストやバンドクリニック等でお会いすることもありますが、本日は皆さんにこの曲を、どういう想いで世に出したのかをお話させていただきます。
新型コロナウイルスの影響は、音楽の演奏、特にライブに影響を与えました。プロの演奏家である僕は、とても悩みましたし、アマチュアで音楽を楽しんでいる方達も、表現の場が少なくなってとても厳しい思いをしてきたんじゃないかと思っています。
僕は、音楽をアップデートして新たな表現を見つけたいという気持ちで、ミュージシャン/アーティスト育成者としての仕事を続けながらデジタルハリウッド大学大学院 修士課程に社会人院生として進学し根性で夜間に勉強し、首席で卒業しました。
そこで出会った先生が、本作品のプロデューサーである白井暁彦さんです。また、そこで出会ったクラスメイトが、Film Editingを担当している藤吉香帆さん（セツナクリエイション）です。
そんな天才達と、新しい表現は無いか探してきました。
それが、メタバースの音楽です。
僕は現在、東京工科大学大学院 博士課程でモーションセンサを利用した音楽演奏の研究も行っています。本作品「Meta Dreamers」は研究開発成果の発信という領域を超えており最高峰のモーション生成技術が使われております。この作品が出来上がる過程で、音楽のレコーディング技術の発展が急速に行われてきた時と同様の興奮・感動体験を感じました。
本楽曲の冒頭には、ベースのタッピング（ライトハンド）奏法が
いきなり登場します。演奏しているのは、数々のビッグアーティストのライブやレコーディングに参加している永田範正さんです。永田さんは編曲や他楽器の演奏でも参加してくださいました。どうしてベースのタッピングなのかというと、楽器を味わい尽くしてほしいと思ったからなんです。
最初、僕がGREE VR Studio Laboratoryの開発チームに『ベースでタッピングをやって欲しい』と言ったら、えええ？！と驚いて、プロジェクトを混乱させてしまいました。まさにこの歌詞やストーリーにあるように、火花が散るような感じです。
でも、このコロナ禍で、演奏ソフトなども沢山登場して、すごい技術で演奏を表現する中、『人間が楽器を弾く意義ってなんだろう？』って思った時に、僕はあえて難易度の高い演奏に挑戦して欲しいなって思ったんですよ。
このチームは、白井先生も含めて、音楽経験者が多かったんです。REALITY株式会社GREE VR Studio Laboratoryに最高のメンバーが集まって、演奏に没頭し、モーションキャプチャも日本の有名VFX映画のモーションキャプチャスタジオとして使われるクレッセントさんで行いました。しかも実際の楽器を持って丁寧に演技をしています。
そしてこの楽曲「ツユハナビ」の譜面や歌詞、パート音源もダウンロードできるようお願いしております（ライセンス準備中）。この曲のカバー演奏は皆さん自由にできるようになりますので、是非、楽譜を使ってバンドで演奏したり、オケを使って「歌ってみた」や、アプリ「REALITY」でのバーチャルライブ配信などに挑戦してみてください。「ツユハナビ」には、軽音楽部の練習曲として最適なテクニックが多数、込められています。
そして最後に。作詞・作曲をしているのは、僕の元でかつて音楽を学んでくださって現在、シンガーソングライターとして精力的に活動している菜那さんです。彼女は、まさに、高校生軽音楽部の活動で青春時代を過ごしてきました。「Meta Dreamers」の気持ちは、誰よりもよくわかっていることでしょう。
高校生の今の気持ちは、今しか表現できないのです。
虚しさ、苦しさ、寂しさ、辛さ、悔しさ、痛さ・・・そして愛しさ。一度しかない人生を、やりたいことで埋め尽くしてほしいと思っています。
音楽を是非楽しんでください！
2022/07/14 加茂フミヨシ
メッセージ：菜那（シンガーソングライター）
シンガーソングライターをしています、菜那です。
今回オリジナル楽曲「ツユハナビ」の作詞作曲を担当させていただきました。
中学生の時にギターを始め、瀬谷西高校 軽音楽部でいろいろな大会に出る経験をしてきました。その後、音楽の学校に進学をしよう、と思ったきっかけは、夏に行われる高等学校軽音楽連盟主催の大会です。あの場で、たくさんの音楽に触れることができる楽しさと、「自分の音楽を認めてもらいたい」、「誰にも負けたくない」という負けず嫌いな気持ちが生まれました。
今、私がこうして音楽を続けてこれているのは、好きで居続けられているのは、あの経験があったおかげです。多くの人ではなくてもいい、少人数でもいいから自分の音楽を認めてもらいたい。
もちろんバンドをやってきて、楽しさはありましたが、それと同じくらい、もしかしたらそれ以上に、泣きたくなるくらいの辛いこと、苦しいこと、悔しいこと、たくさんありました。
今回のこの「ツユハナビ」には、高校生の時に経験した感情を全て詰め込んで作りました。コロナが流行り出してから、練習が制限されてしまったりなど、いろいろと思うことはあるかと思います。その中で、自分には何ができるのか、コロナだからこそできること、を探しながら、これからも自分の音楽を大切に、たくさんの音を奏でていってほしいなと思います。
高校生の頃からバンドクリニックなどでお世話になっていた、加茂先生と縁があって今回のプロジェクトのオーディションに参加させていただきました。今は月に3, 4回ペースでライブハウスで歌ったり、日本工学院八王子専門学校 ミュージックカレッジの学生さんをお手伝いしたり、SNSに動画を投稿したりしながら、活動をしています。
自分を含め、たくさんの人に「ツユハナビ」を歌ってもらえたら嬉しいです。Twitter #ツユハナビ を見に行きますね！
シンガーソングライター・菜那（@nana_u83__）
Download – UGC License
(coming soon!)
本作の楽曲は“世界最大規模のオンライン・ギター・レッスン”（Largest Online Guitar Lesson）というギネスブック記録をもつ音楽プロデューサー・加茂フミヨシ氏により製作されています。
新人シンガーソングライター「菜那」によって生まれた新曲「ツユハナビ」は本作のために書き起こされた新曲ですが、メタバース時代の軽音楽を楽しむための練習曲としてたくみに設計されています。
利用者が自由に歌ったり演奏したり、翻訳したり、アレンジしたり、踊ったり軽音楽コンテストなどで自由に演奏しやすいパート譜、パラ音源等をUGC(User Generated Contents)ライセンスで公開予定しております（詳細についてはTwitter@VRStudioLab もしくはメールで jp-gi-vr@gree.net までお問い合わせください）。
もちろんバーチャルライブ配信アプリ「REALITY」でもお使いいただけます。Twitterではハッシュタグ「#ツユハナビ」でシェアしてください。
CREDITS – Meta Dreamers
[Cast]
REALITY Avatars
Miku, Yahagi, Damivo, Belle
[GREE VR Studio Laboratory]
https://vr.gree.net/lab/uxdev
Storyboard & Assistant Director: Tomosuke Nakano
Environment & 3DUI : Takanori Horibe
Music animation system: Miku Takemasa
Effect Artist: Alexandre Berthault
Technical Director: Kato – Yahagi – Takuma
Film Editing: Setsuna Creation, GK.
HMD Experience: GONBEEE project
Producer & Director: Akihiko SHIRAI, Ph.D
[Music]
Song: ツユハナビ/ “Tsuyuhanabi”
Composer & Lyricist: Nana
Music Supervisor: Fumiyoshi Kamo
Arrange, Programming and Guitar&Bass play: Norimasa Nagata
[Special Thanks]
Acting Supervisor: Shigeru Araki
Motion Capture Studio: Crescent, Inc.
Made by Unity / Avatar by REALITY
Executive Producer: Eiji Araki / DJ RIO, REALITY, Inc.
And all REALITY users!
GREE VR Studio Laboratory – UXDev
(C) GREE, Inc. / (C) REALITY, Inc. /
GREE VR Studio Laboratory 2022