【杂志翻译】COMMERCIAL PHOTO 2023年9月号 櫻坂46 Start over!创作团队采访Part2

Interview03 修图

用最新AI技术“NeRF”作出的噪音效果来表现“当下感”

将最新技术NeRF发生错误时产生的失真噪音效果作为一种表现手法运用到艺术作品中，我们就此采访了挑战这一难题的艺术家新井レン和叢智子。

——首先请介绍下“NeRF”（NeuralRadianceFields）（读作ナーフ）。
新井：简单来说，它是一种可以将多张照片生成为一份可以自由变换视角的画像的最新AI技术。如果是利用迄今为止其他的3DCG制作软件，不事先计算好再去进行360度拍摄的话，是无法建立这样被连结起的空间的。比方说，只从左侧和右侧拍摄前方的建筑物，除非在中间再拍摄一次，否则图像之间无法连接。但如果使用NeRF，即使没有中间部分AI也会根据周围的信息进行补完和自动生成，能够更加简单地制作360度的空间。
叢：这就是NeRF的神奇之处。另外，360度全景拍摄的VR是不能移动视点的，但NeRF可以从自己想要的视点去观看对象。
——是因为什么参与到了樱坂46的视觉制作呢？
新井：关于6月28日樱坂46发售的“Start over!”艺术视觉和封面设计，当时收到了这样的委托：“我们想用NeRF这个新技术来进行视觉制作，能帮忙修图和润色吗？”但当时没有接触过NeRF，所以也并不清楚这是什么样的技术。
叢：今年1月在美国播放的麦当劳电视广告中使用了NeRF的自由视点技术，似乎是引起了不少话题。然而，在樱坂46的视觉设计中却是想利用NeRF发生错误时产生的失真噪音画面来表达。

——您的意思是使用不同于其本来的使用方法吗？还请说得详细一些。

新井：NeRF在生成空间且进行补完时，本来是需要相当多张的照片数据的，但如果照片数量不够就会出现 无法补充完整的失真。但这种时候生成的失真效果相当独特，就很有趣，所以在这个错误的部分上继续加 入人物并合成，想要创造出前所未有的视觉效果。

通过高科技和模拟的结合作出全新的可能性

——虽然观点很新颖有趣，但要将从未采用的技术加入工作中似乎难度不小。
新井：说实话一开始充满了焦虑……。因为想象不到会出现什么样的失真效果，也不知道要减少多少张照片才能出现很酷的失真效果，所以我首先咨询了我们公司的3D团队。他们说虽然没有使用过NeRF但有接触过类似的应用，所以提供给我几个失真效果的案例作为参考。看后我判定用Photoshop来处理应该就没问题。
——有多少制作时间呢？
叢：大概一个半月左右，时间很紧呢（笑）。关于背景素材，由Think&Craft从不同角度收集了樱坂46作为起点的东京涩谷的各种素材。Think&Craft还负责验证了制作背景失真效果的图像数量。

Amana的负责人会从Think&Craft接过制作好的失真背景，然后负责给由摄影师藤井せいや棚拍的人像加上和背景相同的失真效果。所以在接收到背景相关数据资料后到拍摄人像前的这段时间内，关于如何让人像也出现相似的失真，我们做了大量的验证。
新井：由于这是本次视觉制作中至关重要的一部分，所以关于引出失真效果的方法和合成方法，我们都进行了认真的验证。
叢：背景拍摄结束后，与藤井せいや根据使用的背景决定如何去配合人物的拍摄角度，并进行了人像摄影。
新井：我们负责的工作领域是，将NeRF生成的图像（背景部分）和摄影棚拍摄的图像（人像部分）合成时，如何将人物很好地融入进NeRF创造的世界观。也就是说，在2D层面上去模仿NeRF生成的图像的质感和分辨率，也就是所谓去“故意破坏图像”。
叢本就有在创作破坏原本图像的作品，所以对“破坏图像”这件事有着丰富的知识和经验。我接受委托后马上问她要不要一起做。
叢：在平时的工作中使用修图和润色技术是为了让成品看上去更漂亮，不过从大学时代开始就对故障艺术很感兴趣，在艺术创作中因为想做和工作完全相反的事情，所以就使用了破坏图像的表现方式。没想到有一天会有人告诉我，可以在工作中使用这种方式（笑）。

——有觉得困难的部分吗？
新井：艺人脸部的表现。为了不让失真过多，但同时又要避免只有脸部显得突兀，调整起来是很困难的。在背景中插入人物后为了获得相同的纹理，我们先使用了Photoshop中的“置换”功能将整体进行失真处理，然后再手动还原脸部的部分。
叢：面部则只通过“置换”中的水平比例和垂直比例的数值来进行调整。还有就是把人物移到失真效果相比较少的地方进行失真处理，然后再挪回到原来的位置进行微调等。在不断试错的过程中，会渐渐意识到“下次可以这么做”。
新井：是的是的，是在理解的基础上去调整数值呢。NeRF虽然是最新的AI技术，但在Photoshop上除了数值以外的调整，都是通过手动调整之类的来完成，其实算是一种以模拟作出效果的做法。
通过高科技和模拟的结合做出来的视觉效果是前所未有的，因为表现出的成果让人难以看出它究竟是以什么方式和手法制作出来的，这让我感受到了巨大的潜力和可能性。虽然一开始充满了不安，但现在觉得能参与进来真是太好了。
叢：在平时的工作中不可能会将艺人面部的部分变形，但因为樱坂46一直在展现艺术性很高的作品，所以只要整体的视觉效果足够好，面部出现少许的失真也是ok的，这样告诉了我们这一点真的非常重要。正因为是具备理解能力的甲方，才能够将它作成如此前所未见的视觉效果。
——和普通的修图工作相比有什么困难的地方？
叢：一般的工作上要求可逆性，要考虑到一旦更换画像方案之后的应对流程。但像这次这样旨在偶然地制造出来的作品就没那么简单了，麻烦接乱不断。
新井：即使替换了所用画像，只要输入相同的数值，就能在相同的地方作出一样的失真，这一点我们确实是有反复试验确认过的。但果然不顺利的情况还是更多呢。
叢：我们预想把这个图像和那个图像组合起来后，只要填入这些数值就能出现相同的失真效果，本以为到这一步为止都是在掌控之中的，但想要它正确地变得错误（作出失真效果）比想象之中更难……。
——使之正确地变得错误……很厉害的表现方式呢。这么细致的工作只有两个人做吗？
新井：基本是我们两个人。不过途中也会有要参与其他的摄影之类的工作的时候，所以从中途另外加入了由4个人组成的“让其bug小队”。

叢：我从“让其bug小队”那里得到了很多被称为“感觉不错的error”的素材（笑）。快到最后的时候我就逐渐明白了“对这个人物施加以这样的扭曲和失真就能做出不错的效果”之类的事。
新井：如果不从相同的场景生成失真效果的话，就会变成和目标场景不搭的生硬图像。所以尝试着上下左右反转同一个场景的失真素材，或者故意拉动RGB面版，一点点地让色调变得更混沌一些。为了使整体的效果更加和谐，我会毫不妥协地反复试错。
因为同时想配合内页用的各种视觉的方向性，所以即使时间很紧张也尝试了很多东西。
——很快就想到了要使用Photoshop的“置换”吗？
叢：一开始你是想手动变形的吧？
新井：对对，一开始尝试着手动做。但如果手动扭曲的话无论如何都会带着手画的特点，从图像里能看出来人手操作的痕迹，这样NeRF生成失真的高科技感就没有了，所以我很快就放弃了。
Photoshop中的“置换”，通常被用于表现化妆品于水面上倒映出波纹的晃动等，这是一个修图者几乎人人都会用那般常见的功能。就想着尝试一下，实操之后发现“这个好！”。我还是第一次知道水平比率和垂直比率都可以使用负数，长久以来从未在一般的使用过程中设置过负数……
新井：不仅仅是“置换”功能相关的这件事，这次的工作中不断地有新发现。也许这样是在说重复的话了，但能造出崭新表现形式的方法不止有使用新技术一种，通过将其与已经用旧的工具所组合，能够创造出前所未有的表现结果，这是一个很大的发现，从中我也能感受到创新扩展的可能性。
而且很多人都告诉我们说“不知道这是怎么做出来的”、“听了解释也不太明白”、“不过总之很酷！”，因为是经过深思熟虑才做出来的，所以我相当高兴。

使用了NeRF技术的今后的广告表现形式的潮流

——你觉得今后的广告领域这样的表现形式会越来越多吗？
叢：我觉得通过这次的视觉作品，传达了艺术创作中“破坏图像”这种做法的有趣之处，也希望更多的人能享受“毁像”的乐趣。
新井：一方面我觉得形式上的利用率可能会增加，另一方面又觉得因为分辨率的部分还没跟上，所以采用这种手法的话，尺寸可行度上可能会比较局限。另外我觉得这个视觉效果的帅气之处是在看起来高精细度的基础上另外有着error的部分，所以如果整体的分辨率比较低，看起来像以前复古的画质那样，就会缺失这种时下的高科技感。
在有着这种限制的前提条件下，去考虑可以作出什么样的表达效果、搭配什么什么样的工具和功能等反复试错，也许能创造出其它新的表现方式。

新井レン 在专门学校学习摄影，作为修图师加入amana。

叢智子 在大学时学习摄影，从摄影助理转为修图师。

Interview06 摄影师

从背景素材到3D空间、人物画像选择，把握并调和全部画面的色调

根据背景素材的方向来进行人物摄影的藤井先生。

一边设想NeRF处理出的效果一边进行的摄影，与普通的摄影有什么不同之处，我们就此做了采访。

——听说是采用了NeRF技术的实验性拍摄，请问背景是如何拍摄的呢？
藤井：是由我提出地点和场景，并在NeRF团队记录并生成的3D空间中，选择被称作最佳点的站立点。带着身为摄影师的感性，考虑了色调调节和失真噪音效果的程度等方面。
——人物摄影有什么讲究？
藤井：为了突出NeRF处理出的噪音部分，我们有意识地使用高质的灯光来高精度地拍摄人物镜头。为了和背景色调风格相匹配地去设计了打光，并截取了被摄体动作中的一瞬间。与此同时，在人物摄影现场NeRF团队也进行了空间记录。
——然后由你将它们合成，并生成为一张视觉图像。
藤井：对拍摄的图像，和合成后的图像，我们会进行两次色调调整。这样一来不会让照片看起来仅仅像是普通的合成照片。
——您从NeRF这一最新技术中感受到了怎样的可能性？
藤井：有趣的地方在于巧用NeRF的bug这一点。不仅限于NeRF，不依靠技术本身而是通过活用它来扩展创意，作为一名摄影师和创作者，再次感受到了这才是乐趣所在，同时也是展露专业技巧的机会。

藤井せいや 1991年出生于佐贺县。九州产业大学艺术学部摄影学科毕业。在东京都内曾有在工作室工作的经验，后于2018年独立。工作领域不受形式限制，从广告至艺人的艺术作品相关都有负责。W所属。

Interview07 灯光指导

考虑到NeRF的处理效果，利用闪光灯设计了锐利的灯光

在人物摄影时担任灯光指导的海道元先生。
采访了有关从色调印象，到如何设计出活用了NeRF处理效果的灯光布置。

——听闻海道先生是从人物摄影的时候参与到企划中的，请问在灯光的设计上是如何考虑的呢？
海道：虽然事先做了一定的设计，但因为是相当实验性的拍摄，所以主要是通过在现场和staff沟通来逐渐完成的拍摄。
流程上来说，是在人物拍摄前收到了已经完成的背景资料，于是就以此作为基础进行了设计。因为背景是清晨多云的，被柔和光线所包裹的空间，所以我想着要去配合这样的氛围和色调来安排灯光。
——使用了什么样的光源呢？
海道：因为被委托了的是整体包含动态的视觉效果，如果是通常情况下，我会选择稳定的光源，但将动态元素通过NeRF处理的方式更符合这次的概念，因此恒定光源只使用了LED顶光，其他主要是使用闪光灯来组成打光。
——平时以电影拍摄为主从事灯光指导的工作比较多，这次的平面摄影您采用了怎样的方式方法呢？
海道：在常见的平面摄影中一般是依照摄影师的想法将灯光具象化。但这次是包括考虑着如何巧用NeRF在内，staff间共同一边试错一边推进的，所以是相当接近电影现场的感觉。
我自己也比较擅长这种风格，也许这也是这次被分配到委托的理由吧，我一边这么想，一边为了能不辜负期待而尽力去做了。

海道元 1989年出生于神奈川县镰仓市。毕业于日本电影学院（现日本电影大学）。2010年进入Office Doing工作
。2021年辞职后成为独立自由职业者。2022年委任NEWTOWN管理。主要负责众多艺人的MV和CM，也参与了电影和演唱会的灯光指导。

夏之风铃字幕组

翻译：異邦人×i×i

校对：小绿