在不为人知的地方倾注着热情”ANYCOLOR技术团队谈起关于虚拟演唱会的执着

本文为MoguLive 2022.04.21对彩虹社做的相关专题报道，周报对文章做了简要翻译，如有错漏欢迎评论区私信指出

原地址：https://www.moguravr.com/nijisanji-interview-4/

另一篇采访：

VTuber团体【NIJISANJI】，通过策展虚拟演唱会、综艺节目等丰富多彩的活动，带给粉丝们一次又一次惊喜。特别是2021年下半年推出的各种以超越《“LIGHT UP TONES”》，尝试挑战更多表现形式为目标的企划令人目不暇接。

继上次MoguLive与ANYCOLOR公司的日本地区VTuber事业统括制片人，铃木贵都先生的访谈，这次对同公司的3D导演，古藤惠司先生和3D软件开发团队的北胁先生进行了采访。由他们来为我们说说，支撑着急剧变化中的【Nijisanji】的，那份对于技术的执着之心。

以“可以毫无违和感地享受”为目标

——就算是在2021年彩虹社的活动中，有较大反响的活动也还是《“LIGHT UP TONES”》。在那个演唱会之后，AR演唱会方面的技术进展如何？

古藤：

虽然是个不去比较会场现场和线上直播就注意不到的点……。开展线下演唱会的时候，一部分内容现场会用AR来展现Liver。在那种情况下，不用做任何处理，Liver就可以同时在AR和（现场使用的）LED监视器上显示。然后就能直接将在现场舞台的LED监视器中放出的Liver的影像处理成只在演唱会录像中不出现。

铃木：

比如说，《月之美兔在箱子里（※）》的这个剪辑版的话。里面能看见的是LED监视器上内容，而现场放出月之（美兔）的监视器是这个。但是，现场操作展现出的她是通过AR站在舞台上的，原来在现场监视器里放的内容，在剪辑版里是没有的。

——（一边看着录像）确实……!
古藤：

顺带一提，这个操作并不是只是单纯的在上面把它填充成黑色，而是在LED监视器显示的VJ影像和背景影像中，只把Liver的3D模型设置成不显示的模式。

铃木：

虽然要解释起来很麻烦……现场直接能看到的LED面板是为了能直接受到现实的光线影响而没有进行什么特殊处理的，而现场的AR影像以及虚拟空间影像则会通过软件对LED面板进行光影加工处理，所以色调能够根据现场的光线变化而变化。另外，Liver在现场的影像中所展现出来的形象，也受到光照条件的影响而会有所改变。在诸如此类的细节中我们做了很多的调整。

 

——这也是个不说就注意不到的点呢。但是的确，调整与否会对舞台的视觉效果产生巨大的影响。

古藤：

调整起来很麻烦呢。要对（会场）全体的亮度和光线的颜色会造成的影响进行调整的话，应该必须得去到现场才能进行最终调整吧。

北胁：

是呢。现场的环境如何、实际使用的摄像机所预设的最大进光量的多少，都会让呈现出来的样貌发生翻天覆地的变化。每次演唱会的前一天都会争论到深夜……。

铃木：

会一直忙到深夜3点左右呢（笑）。虽然只要不说的话谁都不会注意到，但对于我们来说还是想要达到“可以毫无违和感地享受”的目标。平时在享受别的演出者的现场演出的时候，也不会在意那么细节的地方嘛。所以说，虽然“没注意到这些（细节）“才是正常情况……。但不管是古藤还是北胁都这么努力了，想把这些都尽可能的展现出来！“

 

——顺带一提，工作人员的增加对这样的技术发展有影响吗？

铃木：

直到《月之美兔在箱子里》，（3D软件开发的）工作人员都还没增加吧？

北胁：

还没增加。使用的技术是在AR演唱会（※《“LIGHT UP TONES”》）中的应用。这也与之后想要做的事情有关系，但估计还需要收集更多现场状况的信息，像是舞台中空气的感觉，光的投射方式等等。若是能够在得到更多情报的基础上把我们想做的表现出来的话，演唱会也应该能够变得更加真实。我认为只有到了这一步，我们才能自豪地说我们实现了“技术性地发展”……。我们想要做的事情还有很多，为此也有在增加工作人员。

在和Liver一同奋斗中衍生出的新技术

——最近诸如《双飞跳绳企划（※）》，《NJU歌谣祭2021（※）》等企划很火。特别是在《双飞跳绳企划》中，用到的对物体对象进行捕捉的技术也非常具有挑战性。实现这些不同的项目的流程是怎样的呢？

※双飞跳绳企划：2022年1月3日公开的视频企划“#彩虹社跳绳 第一届彩虹社跳绳大会”。让拥有3D模型的Liver们挑战双飞跳绳，并比拼个数。

※NJU歌谣祭2021：2021年年末最后一天举行的，58名Liver一起出演的歌谣祭。

古藤：

基本上都是Liver那里提出“能不能做这种事情”的提案，“不知道能不能试试研究下这个……”一边这么说着，一边在私下和工作人员们开始研究。在收到提案1~2月之后，“完成了！”像这样来报告之后，像是《双飞跳绳企划》，《润滑液冰壶（※）》等等，这样的企划就实现了。

※润滑液冰壶：2021年7月10日公开的视频企划“【男子汉企划】第一回·Nijisanji润滑液冰壶锦标赛”。舞元启介等一众男Liver，在涂上了润滑液的赛道上自己滑行，将停下来的位置为基准计分并比拼计分。

 

——也就是说是根据Liver的提案来积攒对技术的运用经验呢。

古藤：

虽然有很多乱来的提案，但工作人员也会说“嗯……尽可能……尽可能试试看！”，我们的诸多企划就是靠着他们这样的热情实现的。之前的《双飞跳绳企划》的话，因为说到底，“捕捉跳绳”这种例子根本就没有看到过，所以决定不用一般用的跳绳，而是从“什么样的跳绳更合适被3D动捕捕捉？”开始讨论。

还有就是，演播室用的道具大部分都是自己做的。但是不管怎么说，没看到实物的话，也不会知道什么样的才是适合企划的，所以工作人员们经常会去逛コーナン（建材超市）。

 

——《润滑液冰壶》和《双飞跳绳企划》都是经过非常踏实的努力所产出的结果呢。

古藤：

《润滑液冰壶》也有很多大力出奇迹的部分呢。虽然已经过工作人员的验证了，但是要一边考虑安全，一边保护器材，又要方便滑……这都是很难平衡的事情。研究的重点就是在脚上戴上什么才能既方便滑，又能保护器材和参与者……当找到了合适的组合的时候，大家都欢呼起来了呢（笑）。虽然穿戴整齐的大人在录播室用着润滑液滑，但是我们是认真的。

北胁：

就算是从开发应用的立场来看，《双飞跳绳企划》和《润滑液冰壶》也传达了录播室中的大家的努力。《NJU歌谣2021》等企划中，在摄影方面使用了应用，应用软件上实现的功能也在增加，演播室的大家也能够很好地使用它们，这些都让我非常高兴。

古藤：

最近，加入了3D直播时使用的手持虚拟摄像机。这个摄像机和真实的摄像机一样，有变焦和防抖功能，使用起来非常趁手。

 

——“Niji3D（※）”应该是会定期进行更新的，这些在未来也会有进一步发展吗？

※Niji3D：Nijisanji Liver在家里进行3D直播时使用的软件。

北胁：

“Niji3D“的开发团队因为人手不足，现在处于运作期。不过，随着人员的增加，现在也在热烈讨论着诸如改善3D表现技术之类“想尽快实现的功能”的话题。

虽然“Niji3D”已经停更了很长一段时间，但之后使用它的人应该会越来越多，所以我们想在比如增加动捕方式等方面进行更新。

 

为了让大家看到“Liver是这样存在于此的”

­——近来见到了许多使用各家VR平台进行活动的VTuber。在那之中，Nijisanji也给人一种推出了许多使用了AR的企划，服务等的印象。在那方面有什么战略部署吗？

铃木：

我们认为让大家感觉到“Liver在现实中是这样存在于此”是非常重要的。所以在线下演唱会会使用等身大小，在AR上下功夫，尝试通过这些措施把Liver推向现实世界。

古藤：

为了能让大家感觉到他们“就在那里”，我们对AR表现有个特别的要求，也就是“能与实际景物中存在前后位置关系的平面发生互动※”的情况。Liver可以出现在实际存在的“前面”，也能隐藏在“后面”。虽然用AR可以通过合成现实里没有的东西来降低成本，但是那样做的话“就在那里”的感觉会没有那么强。

（※通常情况下，AR是通过在摄像机图像前放置一层3D模型来实现的，但是单纯地放放上去的话，会因为Liver在背景的台子的上面一个图层而不能做出“Liver藏在某物后面”这样的动作。因此，ANYCOLOR公司正在实装一个能够“干涉实际存在的前后平面”的技术。这就是他们专注于“能让大家感觉到‘Liver就在那里’”的闪光点）

（注意上面图片中卡通人偶的头部。一般的AR演唱会中，经常使用的方法就是把地面和虚拟场景调换，但那样的话，舞台就会穿过卡通人偶的脑袋，头部就会看上去是被切掉了一样。但是ANYCOLOR公司开发的AR表现是不将地面作为虚拟场景进行生成，而是在实际舞台的地面上，将Liver和背景图像进行倒影处理。相当突出人物的存在感的独特演出就能这样付诸现实了。）

古藤：

在《月之美兔在箱子里》中，月之提出了“想指着一个看上去像UFO的气球”的演出提案，最后给出的方法是“其实可以在AR中指向一个现实中存在的气球，再把那个气球拍进去”。我们也在像这样积极地针对AR演出做出提案。希望在之后的Live中大家也能够多留意那样的演出。

北胁：

葛叶的演唱会（※）中，在用AR放出葛叶之后，又用同一台摄像机拍了观众席。

铃木：

在观众席和舞台离得很近的会场进行AR演唱会也是我们第一次的尝试，想要让大家在那种距离感中感觉到“Liver就在舞台上站着！”，而投入了大量的精力。

 

——确实被那种角度惊到了。只是，越是专注于细节的AR演出，看上去越是自然，这又会很难传达出这项技术本身的“厉害程度”。不过这也是为了能够单纯地享受娱乐吧。

铃木：

没错。所以，我们觉得就算反复弄了很多次，但“（在看演唱会的时候）就算注意不到也没关系”。

 

——在不久之后的《Nijisanji Fes 2022（※）》这个大型企划的备战过程中，有什么技术上的挑战吗？

※Nijisanji Fes 2022：预定在2022年10月1日～10月2日期间展开的活动。在幕张会展中心，也包括中止的《Nijisanji Anniversary Festival 2021》企划，预定会实施各种各样的企划。

铃木：

预定将会提高因《Nijisanji Anniversary Festival 2021》中止的《虚拟鬼屋“NIGHTMARE”》企划的质量。为此，我们招募了鬼屋的制作人，打算做到“PG12“级别的恐怖程度。但打算避开怪异的表现。

北胁：

我们还想找机会披露一点本打算在《FANTASIA》上公布的演出方面的东西。

铃木：

《“LIGHT UP TONES”》的反响特别好，有不少“希望能再开一次”这样的呼求，可是也不好办一次一模一样的Live。不过还是想加点东西来提高对于观众来说的附加价值。

 

——最后，技术团队的两位是否对未来有什么期望，或有什么想向周围人传递的信息？

古藤：

3D动捕对我们来说还是需要攻克的课题，我希望能够消除技术方面的烦恼。还有“四足行走”，我认为也差不多必须得多放点心在上面了……

 

——“四足行走”的话，也就是说是“那位（※）”……？非常期待。

北胁：

我们现在缺少能够应对新的方面从而拓展我们的表现能力的设备与方案，如果能有来自其他公司的“可以用我们的技术！”的支援意向的话，请务必和我们商谈。

铃木：

如果能听到来自希望与我们合作的伙伴的意见，那就更好了。还有就是，想要在敝公司工作的各位也请务必！

——非常感谢。

执笔：浅田カズラ

编辑：ゆりいか

整理排版：彩虹周报编辑部 徐渊玄kuto

翻译：彩虹周报翻译部  hiza，d库  雫石ハナビ