バーチャルシンガーを実在化させる技術と演出の実践的報告

バーチャルシンガーを実在化させる技術と演出の実践的報告

TechnologyandInnovationtoBringVirtualSingerstoRealExistence

佐久間　洋司 HiroshiSakuma 大阪大学，（株）深化OsakaUniversity／FUKAIKAhiroshi.sakuma@acm.org,https://hiroshi-sakuma.com

PIEDPIPER（株）THINKR，（株）深化THINKR／FUKAIKAhttps://twitter.com/PIEDPIPER2045,https://thinkr.jpKeywords:virtualsinger,virtualbeing,real-timerendering,virtualproduction,voicesynthesizer,usergeneratedcontents.

1．はじめに　
　　バーチャルビーイングの社会実装の例としてあげられる主要な事例の一つが「バーチャルシンガー」である．本稿では，エンタテイメントの現場におけるバーチャルシンガーのプロデュースに関する実践的な報告を行う．そもそもバーチャルシンガーとは，3Dモデリングされたアバタを用いて活動するアーティストを指し，ミュージックビデオの制作やライブの出演などをアバタ越しのバーチャルな存在として行う．同じくキャラクターとしてのアバタを用いた動画投稿やストリーミング配信を行う「バーチャルYouTuber（VTuber）」が若年層を中心に人気を集める中で，並行して発展してきたアーティストの一つの活動の方法である．　
　　クリエイティブプロダクションであるTHINKRは，複数のバーチャルシンガーや作曲家を抱えている．それらのコンテンツのプロデュースやクリエータのマネジメントを行っているのが「KAMITSUBAKISTUDIO」である．このスタジオでは，バーチャルシンガーの文化を代表する一人である花譜のプロデュースを行ってきた．花譜のYouTubeにおける動画の総再生回数は2億回を超えており，国内外に熱狂的なファンコミュニティをもっている．
　　前例の少ないバーチャルシンガーという新しい可能性を開拓するうえで研究開発は必須である．音楽制作や日々の演出にかかるプロデュースはもちろん，新型コロナウイルスの影響によって，リアル会場のないバーチャルライブを実施する必然性も生まれ，バーチャルシンガーを実在化させるためのさまざまな取組みを行ってきた．本稿ではこれらのバーチャルライブなどを支える技術やアイディアについても紹介する．

2．バーチャルシンガーのプロデュース　
　　KAMITSUBAKISTUDIOを代表するアーティストがバーチャルシンガーの花譜である．花譜は2018年10月18日に『花譜#01』という動画をアップロードするタイミングでデビューしたが，当時は地方に住む13歳の中学生であった．音楽アプリで配信をしていた花譜の演者（以下，オリジンと呼ぶ）に対して音楽活動に興味がないか声をかけ，アーティストとしてデビューする方法を模索するなかで，学業や生活と両立しながら，地方からでも活動が可能かつオリジン本人が顔を出さなくてもよい方法として，バーチャルシンガーが見いだされた．そのように年齢や生活，場所を問わず歌声を世の中に届ける柔軟な活動ができるのが，バーチャルシンガーの強みである．　
　　また，バーチャルシンガーとしての活動は，リアルのアーティストと異なり，コンテキストの設計，アバタのデザインや3Dモデリング，ミュージックビデオやライブなどの映像制作が複雑に絡み合う．そのため，「花譜」は一人のアーティストであると同時に，チームワークでつくる総合芸術のプロジェクトのような側面もある．　
　　花譜がデビューした当時は，キズナアイや輝夜月など3Dモデリングされたアバタを操作して短尺の動画を投稿するVTuberが主流であり，その際も，アニメーションと声優の文脈をくんだロールプレイ性がユーザーから期待されていた．一方，現在最も盛り上がっているVTuberはストリーマーのように生放送や配信を繰り返すVライバーであり，9割以上の内容を本人の経験から演出するドキュメンタリー性の高いコンテンツが受け入れられている．KAMITSUBAKISTUDIOでは，バーチャルビーイングを活用しながらもあくまでアーティストをプロデュースするという立場から，オリジン本人の性格や経験を7割生かして，そこにアバタやクリエイティブの演出を3割反映するようなバランスを意識したプロデュースを行っている．　
　　ChatGPTなどの大規模言語モデルや画像生成AIなど，人工知能が発展するなかでさまざまなクリエイティビティや仕事が置き換わっていくと考えられるが，最後まで残るものは感情を揺さぶるエンタテイメントであると考えている．その感情の共有性が高まるのは，ロールプレイではなく，本人のオリジンらしい固有の経験を共有するドキュメンタリー的手法であり，それをクリエイティブの側面から支えることがバーチャルビーイングの実践における重要な考え方である．　
　　ここからは，前述した花譜，花譜を含むバーチャルシンガーのグループである「VirtualWitchPhenomenon（V.W.P.）」，リアルとバーチャルの身体の両方で活動を行うアイドルグループ「VALIS」のそれぞれについて紹介する．

2･1花譜のプロデュース
　　花譜はデビュー当時13歳の中学生という立場で，ファーストワンマンライブの時点では15歳であった．地方在住だったこと，顔を出して活動するには年齢が低かったことなどを含むさまざまな要因から，本来なら音楽シーンの中には登場しなかったかもしれない才能であった．そこでバーチャルシンガーという形でデビューして今日の活動に至る．メインコンポーザーとして若者世代に訴求力のあるカンザキイオリ＊1を迎え，花譜の代表曲「魔女」に連なる一連の楽曲を発表し，YouTubeで公開されているMVはいずれもミリオン再生を記録している．花譜のファーストワンマンライブ「不可解」では，クラウドファンディングの支援も受けてライブを行ったが，目標金額の8倍となる4,000万円の支援が集まり，CAMPFIRECROWDFUNDINGAWARD2019を受賞した．　

　　前述のとおり，バーチャルシンガーのプロデュースではクリエイティブとドキュメンタリーのバランスを丁寧に取っていくことが最も重要である．　クリエイティブについて，花譜のアバタのデザインはイラストレーターのPALOW氏を起用し，アニメ文化を踏襲したデザインではあるものの，極端なプロポーションの体型にしたり，肌の露出をしすぎないよう注意している．また，ミュージックビデオ（MV）の撮影は川サキケンジ氏が担当し，実写の映像とキャラクターを重ね合わせて表現できる技法で，「花譜がこの街にいるかもしれない」という感覚をもたせる表現を実現してきた．

　一方，花譜は中学生から大学生になるまで，受験などのタイミングでの活動休止や短期留学など，ドキュメンタリー性の強い「正直な説明」も行ってきた．そのため，ファンが親や姉妹のような目線で花譜の成長を見守ってきた経緯もある．フィクショナルな設定やクリエイティビティもありつつ，ノンフィクションの要素やライブ配信などが重なることでバーチャルシンガーの魅力を最大限に引き出すことができる．

2･2V.W.P.のプロデュース　
　　また，KAMITSUBAKISTUDIOには花譜以外に四人のバーチャルシンガーがおり，理芽，春猿火，ヰ世界情緒，幸祜ら五人の電脳のバーチャルアーティストグループV.W.P.をプロデュースしている．花譜がデビューして1年後からグループを立ち上げるアイディアがあり，ヰ世界情緒や春猿火がデビューする少し前から構想していた．バーチャルシンガーのグループを立ち上げるにあたっては，メンバーの声質や音楽性が重ならないようにバランスをとることを心掛けている．　

　　花譜，V.W.P.ともにドキュメンタリー性とクリエイティブのバランスについては，ほとんどがドキュメンタリーという心づもりでプロデュースを行う．各ライブの演出やIPプロジェクトである「神椿市建設中」などでは創作の要素が現れるが，大きなライブ演出としてのシナリオは企画したとしても，細部はオリジンから得たものをインタラクティブに反映する形で制作を進めている．その点で，もちろんリアルのアーティストとは異なるものの，アニメのキャラクターがライブを行うような演出方針ではない．インプロビゼーション（即興演出）やフリージャズ（即興演奏）に近いバランスの制作を進める．なお，具体的なライブの演出方法については後述する．
　　クリエイティブの一面であるアバタについては，キャラクターを制作したうえで演者のオーディションを行うのではなく，オリジンが先にある．本人にどのようなアバタやキャラクター性が似合っていくのかを声音や気質を分析しながら検討し，最終的に判断を行っている．その際，バーチャルシンガーは本人の活動が続く限りクリエイティブの並走も必要になるため，必然的に長期運用型のプロジェクトになる．イラストレーターについても長く仕事ができる方を念頭に依頼する．また，一人の才能に頼っていくというよりも，チームで負担が特定の場所に行きすぎないように運営していく必要がある．

2･3VALISのプロデュース　
　　また，現在KAMITSUBAKISTUDIOに所属しているバーチャルガールズグループのVALISでは，より特徴的なプロデュースを行っている．VALISはバーチャルアイドルとして前述のようなライブや配信の活動を行っているが，同時に，リアルな身体をもつアイドルグループとしてもダンスパフォーマンスや歌唱を行う．アバタとオリジンの身体の姿の両方でパフォーマンスを行っている特別なグループである．
　　VALISのメンバーはもともとオリジン（リアルな身体）のアイドルグループとしても活躍できるビジュアルやダンスの力量をもっていた．VALISの活動に先行してオリジンとして活動をしてきた一方で，花譜やV.W.P.のプロデュースで培ったスタジオの能力を生かし，バーチャルの可能性と組み合わせることで，相乗効果が見込めると考えてプロデュースを行っている．　
　　実際に，後述するライブの演出などでは，オリジンとしてのダンスパフォーマンスとバーチャルなアバタとしてのライブパフォーマンスが連動するような形で登場する．ライブ感や存在感を演出するにあたってのこのような重ね合わせは，新しい可能性である．なお，バーチャルとリアルの行き来という仕組みは，アニメのキャラクターとリアルな声優のライブの関係性にも似たものである．固定のキャラクターを通じてインターネット上で活動するものの，ライブパフォーマンスは本人が行う覆面アーティストなどにも続く流れである．　
また，長期的なパートナーシップを結び，他のVTuberと差別化する方法として，VTuber業界でまだ起用されていないイラストレーターに依頼するよう努めている．VALISのキャラクターデザインはねこ助氏に依頼しており，ネコのキャラクターのようなアバタをベースにしつつ，オリジンのライブ衣装などをデザインと一致させることでリアルとバーチャルの連続性を演出している．

3．音楽ライブにおけるバーチャルアーティストの存在感の演出　
　　バーチャルシンガーなどのバーチャルアーティストの存在感を演出する必要がある場面として，最も重要なものが音楽ライブである．そもそもバーチャルアーティストはアバタを通して活動しているため，バーチャルライブ（インターネットで配信されるライブ）やリアル会場でのライブのいずれでも，リアルな空間に手放しに実在するわけではない．スクリーンへの投影やディスプレイでの描画などのインタフェースを挟むことで実在感を感じさせにくくなってしまうことは避けられない．
　　そこでバーチャルアーティストを本気で実在させるためには，さまざまな技術・演出の工夫が必要になる．VOCALOIDやインターネット文化に親しみ深い，若いユーザーほど実在感を感じてくれているが，そのような文化になじんでいない大人まで含めて実在を感じてもらえるように武道館ライブ（花譜3rdONE-MANLIVE『不可解参（狂）』）などの設計に取り組んできた．　
　　これまでKAMITSUBAKISTUDIOでは，花譜の音楽ライブのシリーズである『不可解』を筆頭にさまざまな音楽ライブを開催してきた．ここでは，不可解シリーズのライブの背景にある技術や演出の工夫を紹介する．また，前述のVALISのライブについては，リアルとバーチャルの境界を越えるような特筆すべき演出について報告する．

3･1バーチャルライブと存在感の演出
　　バーチャルシンガーの花譜について，2019年8月1日に初めて開催したライブが花譜1stONE-MANLive『不可解』である．東京・恵比寿にあるLIQUIDROOMにて，背景のスクリーンに投影された映像の演出と，前景に投影されて登場した花譜，合わせて生演奏を行うバンドを組み合わせる構成で開催した．以前にも半透過スクリーン（紗幕）を活用したバーチャルなキャラクターのライブは開催されてきたが，このライブでは背景映像や生演奏をするバンド，歌詞のタイポグラフィとの整合を丁寧に取って製作した．Twitterでは「#花譜不可解」が世界のトレンド1位にランクインし，この成功が大きな起点となり，2019年10月18日のKAMITSUBAKISTUDIOの立上げにつながった．

　ただし，この後に続く不可解シリーズのライブ演出に比べると，この時点では映像が特別に秀でていたわけでもなく，目新しい技術を採用していたわけでもなかった．このようなバーチャルライブは，CG映像を制作して投影するような仕組みにも近く，最初の不可解に続く不可解弐Q1と不可解弐Q2のUnrealEngineでの高度な実装に経験が生かされている．

§1完全なオンライン配信のバーチャルライブ
　　バーチャルライブの演出に関しては，新型コロナウイルス感染症の状況下で大きな転換点があった．2020年3月に開催予定だった，不可解の再演である『不可解（再）』の開催が中止され，無観客ライブと全編オンライン配信のみでの開催となった．その後，2020年10月の不可解弐Q1と2021年3月の不可解弐Q2も完全なバーチャルライブとして開催した．　
　　そもそも不可解は，実際にリアル空間にいるバンドの生演奏と合わせた音楽性の高さや生々しさによって，バーチャルシンガーの実在感を感じさせていた．それがオンライン配信のみとなった場合には，UnrealEngineでレンダリングされた映像をベースとすると，ディスプレイ越しの完全な映像作品のように見えてしまう．実在感を感じさせるのは，よりいっそう難しくなる．そこで，バーチャルシンガーの花譜をリアル空間に存在させるのではなく，バンドメンバーをバーチャル空間に存在させるような映像を目指して構成した．　
　　そのような構成やステージ細部への演出のこだわりを実現するために，バーチャルライブの制作はバーチャルな音楽ライブ配信を行う汎用性があるプラットフォームではなく，すべてオーダメイドで制作を行った．デザイナーのヤマザキヒロカズ氏とともに，滅んだ異文明の教会の跡地をテーマにしたバーチャルライブハウス「PANDORA」をデザインし，バンドメンバーがバーチャルのライブハウスに登場するようなライブをオンライン配信することで，花譜の存在感を演出することを試みた．　
　　なお，PANDORAにて開催した花譜2ndONE-MANLIVE『不可解弐Q2』はYouTubeLiveにて全編無料配信を行い，同時接続の視聴者が4万人，国内外では累計40万人以上が視聴し，「#不可解弐Q2」は10万件を超えるツイートでTwitterトレンド世界1位になった．　
バーチャルライブはユーザーによる視点の移動などが可能なイマーシブライブにも応用可能な枠組みのライブであり，KDDIとKAMITSUBAKISTUDIOで開発中の次世代次世代型3Dライブ視聴体験サービス「αULive」＊2でも研究開発を行っている．

§2リアル会場でのバーチャルライブ
　　Q1とQ2のバーチャルライブを経て，コロナ禍が続く厳しい社会情勢の中，2021年6月に豊洲PITにて花譜2ndONE-MANLIVE『不可解弐REBUILDING』を2日間にわたって開催した．
　　不可解弐REBUILDINGは不可解弐シリーズの完結編的であり，実在感を提示するためのQ1・Q2の技術や演出をリアル会場にもち込むことを行った．Q1とQ2はそれぞれQ1：REとQ2：REとしてリアル会場での演出に合わせて再構成し，カメラワークを自在に操れるバーチャルライブではない，リアル会場のライブならではの映像として再構成している．　
　　不可解弐REBUILDINGはエンドロールを含めると67曲，7時間以上の楽曲が披露されたが，それらすべてに背景映像やタイポグラフィなどの制作，バンドによるライブアレンジが存在しており，総合芸術としてのバーチャルシンガーの音楽ライブを体現するものであった．　
　　また，続く2022年4月15日と16日にはV.W.P.による音楽ライブイベント『魔女集会』と『現象』を開催した．前景のスクリーンに花譜ら5名が登場し，背景のディスプレイには映像やタイポグラフィ，MVなどが投影される構成であった．バンド用のステージは前景のスクリーン前の1階と背景ディスプレイ手前の2階に分けて設置され，8名のミュージシャンが生演奏を行った．これらの音楽ライブへの反響を受けて，花譜やV.W.P.のリアル会場でのバーチャルライブの演出に確信をもった．　
　　これらがバーチャルシンガー初となる日本武道館でのワンマンライブ『不可解参（狂）』の成功につながった．日本武道館はアリーナ席と1階席，2階席と配置されている．これに対し，座席の一部をステージに含める形で前景に複数のディスプレイ，ステージ2階のディスプレイ，背景のスクリーン，ステージ頭上の左右にディスプレイを配置するという構成をとった．本来，バーチャルシンガーをきれいに視認できる席の配置を考えると，左右のエリアや2階席からの視聴は相性が悪い．ステージ側にも高さをつくり，頭上にもディスプレイを配置することなどを通じて幅広い座席からの見え方をカバーした．　
　　特筆すべき点として，ステージ2階ではリアルのアーティストとコラボレーションができるセットを制作し，たなか氏や大森靖子氏らと花譜が掛け合いをしながらパフォーマンスをするシーンも実現した．また，花譜のパフォーマンスの背景にリアルタイムに会場の観客が映るよう合わせられた映像が，ステージ頭上のディスプレイに投影されるなどの技術的な工夫も行った．会場では7000人を動員し，Twitterでは3万件を超える投稿があり，Twitterトレンドで日本1位を獲得した．

3･2バーチャルシンガーのライブを支える技術
　　ここからは，リアル会場でのバーチャルシンガーのライブの未来について技術的なポイントをあげる．具体的には，リアルタイムレンダリングとバーチャルプロダクションを紹介する．リアルタイムレンダリングは，ゲームエンジンにUnityを採用してリアルタイムの映像の生成と投影を行うもので，後述するVALIS『必然的レゾンデートル』や花譜『不可解参（想）』などで取り入れている．バーチャルプロダクションは，舞台に対して背景映像やバーチャルシンガーの配置を現場で詳細に行うことなどができる技術で，『KAMITSUBAKIFES’23』ではdisguise（d3Technologies）を活用した．今後もこういった技術を取り入れてXRLIVEの研究開発を進めていく予定である．

§1リアルタイムレンダリング
　　レンダリングとは三次元のモデルやデータを映像として投影できるようにする工程であり，リアルタイムレンダリングは高い計算機能力でそれをリアルタイムに行うものである．花譜のライブではライブ制作を担当するチームによって独自にカスタマイズされたアバタ表現システムを活用しており，それらにUnityによって作成されたHDレンダパイプライン（HDRP）を取り入れてさらなる精細化も目指している．HDRPはGPUのパフォーマンスを最適化し，精細で高度なグラフィックスをレンダリングすることができる．サブサーフェススキャタリングを含む高度なシェーダー，物理的に正しい光や陰影の表現，シネマティックの効果などが可能になる．　
　　それらの研究開発を進め，多人数のリアルタイムレンダリングの最高峰として開催したのがVALISの必然的レゾンデートルである．2023年1月29日と2月4日にそれぞれAct.1とAct.2を開催し，Act.1ではバーチャルなアバタ，Act.2ではリアルのオリジンが登場した．「Act.1」と「Act.2」の両方において，基本的な演目構成を統一し，Act.1のライブ配信用の収録映像をAct.2の背景映像として流用することで，時間を超えたバーチャルとリアルの融合を目指した．リアルタイムレンダリングで行ったバーチャルライブ「Act.1」を背景に背負って行ったオリジンライブ「Act.2」では，本人達が「Act.1」と寸分の狂いもなくダンスパフォーマンスを披露した．それは，同時に本人達のダンスパフォーマンスの卓越性の高さを証明することにもつながった．　
　　リアルタイムレンダリングを活用したライブで，より演出に力を入れたのが不可解参（想）である．花譜の3rdワンマンライブの不可解参（想）は3月4日に開催され，全編オンラインで配信を行った．これは日本武道館で実施したライブ不可解参（狂）の再構築版で，Unityベースのバーチャルライブである．バーチャル空間に設置されたリアルの武道館そっくりに制作された概念武道館というステージを舞台とした．概念武道館以降は花譜が巨大なエレベータに乗り込み，高い質感を感じさせるさまざまさまざまなステージを移動しながら花譜らがパフォーマンスを行った．リアルタイムレンダリングの技術により，リアルさや実在感を感じさせる演出を目指した．

§2バーチャルプロダクション　
　　また，スクリーンへの投影については，ステージに合わせてつくり込まれた背景映像をシートに配置していくプロジェクションマッピングを用いている．これまではこの背景映像や配置をあらかじめつくり込んでおく必要があったものが，バーチャルプロダクションの技術を使って映像編集ソフトで調整するかのようにその場でレイアウトしていけるようになったことが大きな変化であった．　
　　バーチャルプロダクションとは，背景映像の空間と実際のステージや被写体をリアルタイムに同時に撮影して合成する映像制作のフローを指す．例としてよくあげられるのは，ディスプレイやスクリーンに背景背景を投影し，手前に演者や被写体を置いて撮影する方法である．オブジェクトの追加や変更，エフェクトを使った演出なども可能であり，撮影や編集の時間の削減，今回ではライブステージの設計時間の削減が可能になる．　
　　我々が用いているのはバーチャルプロダクションの技術の一部であるが，「【組曲】花譜×たなか#95「飛翔するmeme」【オリジナルMV】」などでは，バーチャルの舞台セットをつくってそれに合わせてカメラワークをするとセットが追いついてくるような形で撮影を行った．　また，2023年3月30・31日に開催したKAMITSUBAKIFES’23でもバーチャルプロダクションを導入した．KAMITSUBAKISTUDIOに所属するバーチャルシンガー，シンガーソングライターから音楽的同位体まで多くのアーティストが出演した．ここでは，バーチャルプロダクションに係るサーバーとソフトウェアがセットになっているdisguise（d3Technologies）を用いた．ビューポイントの設定や演出効果のタイミングまで，映像自体のレイアウトを現地で行うことができ，ステージの最後のクオリティアップに不可欠な技術であった．
　　具体的には，手前の紗幕に明るいタイポグラフィがあるとアーティストの顔が明るく見えすぎてしまうという問題があったが，このタイポグラフィを現地で背面に変更するような修正を行うことができた．また，手前の紗幕と1階のディスプレイにキャラクターが写っているとき，これらを一体化するような細部まで一致しなければ難しい演出も調整することができる．これらの技術を発展させることで，ミュージックビデオやその他の用途のためにUnityであらかじめ制作した神椿市という舞台を，セットとしてリアルの会場にもち込んで背景として投影することなども可能になる．今後予定しているXRLIVE（SINKALIVEシリーズ）では，神椿市のモデルとステージの連動を図る予定である．

4．音楽的同位体の開発とプロモーションの戦略　
　　花譜を始めとするV.W.P.などのバーチャルシンガーのプロデュースをするなかで，ユーザーによる創作の可能性を広げるべく生まれたのが「音楽的同位体」である．KAMITSUBAKISTUDIOのバーチャルシンガーの歌声を学習させてCeVIOAI（後述）の人工歌唱ソフトウェアを開発し，それを中心に展開するさまざまな企画を総合して「音楽的同位体プロジェクト」として進めている．

　　もともと，KAMITSUBAKISTUDIOのバーチャルシンガーシンガーのテーマの一つに，「歌うことが好きなオリジンの少女達の可能性をバーチャルで拡張する」というものがある．その目的へ進んでいくなかで，人間の歌声を機械学習させて人工歌唱ソフトウェアとするCeVIOAIを制作した．このソフトウェアは，少女達を超えて，たくさんのユーザーにとっても，創作の可能性の拡張をすることができるパートナーになり得るものである．後述するユーザー生成コンテンツ（UGC：UserGeneratedContents）の輪を広げていくことにより，バーチャルシンガーとしてのV.W.P.の認知度を広げていくことにもつながる．
　　以下では，音楽的同位体プロジェクトの概要，音声合成ソフトの内容，それらのプロモーションにも係るユーザー生成コンテンツの広がりや戦略などについて述べる．　
ここで音楽的同位体プロジェクトの同位体とは，バーチャルシンガーのグループであるV.W.P.に対応する形でデザインされた合成音声ソフトユニット
　　花譜の声をより多くの人に知ってもらうために，プロモーションの観点から立ち上げられたプロジェクトであったが，予想を超えるヒット作が数多く生まれたことで，ユーザー生成コンテンツを広げる展開につながり，音楽的同位体を中心に据えたV.I.P.を立ち上げた．

4･1音声合成ソフト（CeVIOAI）について　
　　音楽的同位体は，前述したようにKAMITSUBAKISTUDIOのバーチャルシンガーを模してデザインされたキャラクター群であり，その中心にオリジンの声を学習させた人工歌唱ソフトウェアのCeVIOAIがある．　
　　CeVIOAIは名古屋工業大学で開発された深層学習を採用した音声合成技術をもとにしており，実在するシンガーの声を学習させたソフトにセリフや楽譜のデータを入力すると，本人らしい性質や歌い方で再現することができる．ピッチパターンやタイミングをGUIで指定することができ，多くのボーカロイド音楽ユーザーに受け入れられている．　
　　この学習にはシンガーの歌唱データなどを与えるが，シンガーに応じてさまざまな機能の追加も行っている．ヰ世界情緒が落ち着いた低い歌い方からボーカロイドらしい高い歌い方まで，多様な声質を表現した歌い方ができることを生かし，音楽的同位体の星界には複数の歌い方を調整できる「感情パラメータ」という機能が搭載されている．また，ラップシンガーである春猿火に対応した羽累は，ボーカロイドなどの音声合成ソフトとしては初めてクオリティの高いラップを歌わせることができる機能が搭載されている．　
　　いずれもボーカロイド音楽の発展や需要に鑑みて，オリジン本人の歌唱よりも少し機械らしい雰囲気を残した音声を提供しているが，技術的にはより本人らしく開発することも可能である．あえてボーカロイドらしい雰囲気を残すことで，バーチャルシンガーとその歌唱ソフトのデュエットなどが可能になることを意図している．

4･2ユーザー生成コンテンツの広がりと戦略　
　　ボーカロイド音楽で採用される音声合成ソフトについては，すでにさまざまな歌手の声がラインナップされており，長らく新しい歌唱用のソフトを発売できる市場のタイミングはなかった．可不は作曲家のユーザーがこれ音楽的同位体を中心に据えたV.I.P.を立ち上げた．4･1音声合成ソフト（CeVIOAI）について　音楽的同位体は，前述したようにKAMITSUBAKISTUDIOのバーチャルシンガーを模してデザインされたキャラクター群であり，その中心にオリジンの声を学習させた人工歌唱ソフトウェアのCeVIOAIがある．　
　　CeVIOAIは名古屋工業大学で開発された深層学習を採用した音声合成技術をもとにしており，実在するシンガーの声を学習させたソフトにセリフや楽譜のデータを入力すると，本人らしい性質や歌い方で再現することができる．ピッチパターンやタイミングをGUIで指定することができ，多くのボーカロイド音楽ユーザーに受け入れられている．　
　この学習にはシンガーの歌唱データなどを与えるが，シンガーに応じてさまざまな機能の追加も行っている．ヰ世界情緒が落ち着いた低い歌い方からボーカロイドらしい高い歌い方まで，多様な声質を表現した歌い方ができることを生かし，音楽的同位体の星界には複数の歌い方を調整できる「感情パラメータ」という機能が搭載されている．また，ラップシンガーである春猿火に対応した羽累は，ボーカロイドなどの音声合成ソフトとしては初めてクオリティの高いラップを歌わせることができる機能が搭載されている．　
　　いずれもボーカロイド音楽の発展や需要に鑑みて，オリジン本人の歌唱よりも少し機械らしい雰囲気を残した音声を提供しているが，技術的にはより本人らしく開発することも可能である．あえてボーカロイドらしい雰囲気を残すことで，バーチャルシンガーとその歌唱ソフトのデュエットなどが可能になることを意図している．

4･2ユーザー生成コンテンツの広がりと戦略　
　　ボーカロイド音楽で採用される音声合成ソフトについては，すでにさまざまな歌手の声がラインナップされており，長らく新しい歌唱用のソフトを発売できる市場のタイミングはなかった．可不は作曲家のユーザーがこれなど企業の主体的な取組みも経てキャラクター性がコミュニティに定着し，音声合成ソフトの本体に加えて初音ミクのグッズが売れるような存在感を確立されている．　
　　KAMITSUBAKISTUDIOにおける音楽的同位体のIPを育てる戦略として，例えば2022年7月からV.I.P.を登場人物とした公式の四コマ漫画「同位体観察日記」をTwitterで配信している．ニコニコ超会議などリアル会場を伴うイベントなどでも，それぞれの音楽的同位体のキャラクター性を意識してもらえるような展開を試みてUGCを誘引しているが，最近ではキャラクター（IP）としてのグッズも売れつつある．

5．おわりに　
　　ここまで，バーチャルシンガーを実在化させるための技術や演出という観点で，エンタテイメントの現場からアイディアや事例を紹介した．　
バーチャルシンガーの実在感をユーザーに感じてもらうためのプロデュースに関して，オリジン本人の性格や経験を7割生かしつつ，アバタやクリエイティブの演出を3割反映するバランスをとること，V.W.P.のようなグループではメンバーの声質のバランスをとり，長く仕事ができるチームで負担を分散させながら運営すること，アイドルグループVALISのリアルなオリジンとバーチャルなアバタの両方で活躍する演出を行うことなど，さまざまなアイディアや演出を紹介した．　
　　音楽ライブは実在感の演出が期待される場面である．バンドの生演奏とバーチャルシンガーをリアル会場とバーチャル空間の双方でうまくなじませるための演出や技術について紹介した．不可解Q1：REとQ2：REから武道館ライブへと，ディスプレイやスクリーンを複雑に組み合わせたステージの構成を進化させてきた．武道館のステージ2階におけるリアルのアーティストとバーチャルアーティストのコラボレーション用のセットや，花譜のパフォーマンスの背景にリアルタイムに会場の観客が映る映るよう合わせられた映像の投影など，さまざまな工夫を紹介した．また，リアルタイムレンダリングやバーチャルプロダクションなどは，バーチャルライブの演出をよりリアルかつ精細に行うことを可能にする技術である．　
　　最後に，KAMITSUBAKISTUDIOのバーチャルシンガーの歌声を学習させた人工歌唱ソフトウェアを中心とする「音楽的同位体プロジェクト」について紹介した．音声合成ソフトはたくさんのユーザーに使ってもらうことが重要で，UGCを盛り上げるための戦略について述べた．公式のデモソングを数多く制作すること，コンテストなどを開催すること，音楽的同位体を登場人物とした公式漫画を発信することなどにより，UGCの輪を広げることができている．　
　　以上のように，デビューから日々の活動のプロデュースで演出しているポイント，音楽ライブにおいて実在感を感じさせるための演出や技術，音声合成ソフトの開発とUGCを盛り上げる戦略など，バーチャルシンガーを中心とする重要なトピックを報告した．バーチャルシンガーはバーチャルビーイングの社会実装の重要な事例である．アカデミアでバーチャルビーイングの研究や開発が行われるうえで，これらのエンタテイメントの現場の実践的な知見がヒントになれば幸いである．


2023年5月22日　

受理著者紹介

佐久間　洋司（学生会員）大阪大学大学院基礎工学研究科博士後期課程，（株）深化ボードボードメンバー．2025年日本国際博覧会（大阪・関西万博）大阪パビリオン推進委員会ディレクターなどを務める．日本学術振興会特別研究員DC1，孫正義育英財団第2期生．日本オープンイノベーション大賞文部科学大臣賞などを受賞．ムーンショット型研究開発事業ミレニア・プログラムチームリーダー，大阪府新たな戦略策定に向けた有識者懇話会アドバイザーなどを歴任．東京大学大学院総合文化研究科修士課程を修了．修士（学術）．日本SF作家クラブ会員．本学会産業界連携委員，学生編集委員長．

PIEDPIPER（株）THINKR所属．Web3時代のIP開発を行うストーリープロトタイピングカンパニー「（株）深化」ファウンダー．YouTube発のクリエイティブレーベルKAMITSUBAKISTUDIOの統括プロデューサーであり，深化の創設者．バーチャルシンガーの花譜，理芽，V.W.P，音楽的同位体シリーズ，神椿市を建設中．SINSEKAISTUDIOのプロデュースなどを手掛け，新人アーティストの発掘をする傍ら，プロデュースを手がけていない所属アーティスト達の監修なども行う．「音楽から物語へ」つながるさまざまな企画開発に日々挑戦している．＊12021年12月31日の第72回NHK紅白歌合戦では，カンザキイオリの楽曲『命に嫌われている．』をまふまふが歌唱した．＊2KDDIのR&Dコレクティブ「αUresearch」とクリエイティブレーベル「KAMITSUBAKISTUDIO」のコラボレーションプロジェクト「promptαU（プロンプトアルファユー）」の研究開発項目の一つ.

转载于

一般社団法人　人工知能学会. 人工知能 Vol.38 No.4(2023年7月号)  一般社団法人　人工知能学会. Kindle 版.

粗略排版，删除了所有图。

仅供学习研究。

不做翻译，侵删。