电影《冠军》中使用的神经渲染技术是什么

由 Maciej Barczewski 执导的《冠军》是第一部使用神经渲染转换为英语的完整剧场故事片。这部电影讲述了战前拳击冠军 Tadeusz “Teddy” Pietrzykowski 的真实故事，他于 1940 年首次作为囚犯被运送到新建的奥斯威辛集中营。利用人工智能和机器学习的进步，整部电影根据演员在录音棚重新录制对话时的表演将演员的脸进行视觉重建。

 

电影于 2020 年 1 月拍摄，原定于 2020 年 10 月上映，但由于波兰的新冠疫情推迟到 2021 年 3 月上映。电影发布后反响不错，后来被一个叫Adapt Entertainment公司买下了在英国市场发行电影的版权。Adapt 的首席执行官 Darryl Marks 长期以来一直想使用视觉效果或神经渲染来转换电影。过去几年，Darryl Marks 一直在寻求“扩大内容的全球影响力，以便观众可以体验到增强的叙事方式，无需配音或字幕即可保持原始项目的完整性。” 为此，Adapt 组建了一支团队，包括洛杉矶的 Pinscreen Technology，该团队由世界神经渲染专家 Hao Li 博士领导。它还包括 fxguide 的数字人类专家 Mike Seymour 博士，他担任英文版 VFX 主管。该团队共同开发了 Adapt 专有的 Plato 流程，并结合了新的高级机器学习和神经渲染。

 

 

这部电影由屡获殊荣的波兰演员 Piotr Głowacki 主演，自 2004 年以来，他出演了 60 多部电影。为了尽可能真实，团队渴望尽可能让原演员重新录制他们的表演。值得庆幸的是，Piotr 能够参加录音。即使他在电影中的外表变化很大，Piotr还是在一次会议中被五台摄像机记录下来。他的录音由电影导演 Maciej Barczewski 监督，并得到飞往波兰参加音频会议的 Darryl Marks 的支持。

 

 

Plato 过程是用于对话和面部恢复的专业神经渲染管道。它的独特之处在于：

 

首先，Plato管线的设计围绕着保持演员的表演，用忠实原表演的高保真新版本取代他们原来的语言表演。

 

其次，它是一个制作流水线，所以与一些庞杂的测试和演示不同，它只需要有限的培训数据。它只使用成品胶片，且在拍摄原版电影时，不需要做任何特殊的工作。不需要特殊的灯光、面部标记或复杂的侵占性技术，它可以与所有不同类型的戏剧灯光、头部和摄像机角度衔接，尤其是侧面头部角度，即使演员化了妆也是如此。

 

第三，它的工作量很大。有些过程每次拍摄需要数十甚至数百小时才能完成。这对于一个广告或TikTok作品来说是可行的，但对于一部有成百上千个镜头的故事片来说有难度。

 

此外这个技术相对灵活可控，因为导演们经常会提出一些调整，所以它是一个可控制的流程。Plato 是一系列精心设计的新技术、定制实施和行业最佳实践，可提供专业的高质量、高保真和真实的表演。

 

 

Pinscreen 长期以来一直在研究和开发神经渲染应用程序，团队对化身、数字代理和机器学习进行了广泛的研究。这个公司一直是 SIGGRAPH 和众多实时直播活动的定期贡献者。虽然 Plato 过程的一部分涉及团队开发的预先存在的 ML 技术，但他们在 Champion 之前与 Adapt 进行了一个专业研究项目，以开发满足生产管道需求所需的新技术。Zimo Li 是美国 ML 团队的首席研究员和团队负责人，由于新冠疫情的限制，该团队在远程工作。

 

它已被证明适用于日夜镜头、正面和侧面镜头——女性、男性或儿童，甚至是动作序列。这将对话替换神经渲染从定制手工完成转移到工业级应用程序，从而为制片人提供了一系列全新的优质电影和电视节目的融资和发行选择。

 

Plato 过程允许根据需要单独调整一些镜头。由于重新录制是在波兰通过 zoom 监督的，VFX 编辑在澳大利亚进行，神经渲染在洛杉矶和悉尼完成——更不用说制作人在以色列，团队在很大程度上依赖 frame.io 来制作涉及大量的电影剪辑和训练数据。

 

这种以真实的方式重新塑造演员面孔的风格可以极大地拓展外国电影的市场。在像《冠军》这样情感强烈的戏剧性电影中，观众不得不将目光从演员的表演转移到阅读字幕上。此外，传统的过度渲染可能会破坏表演的真实性和保真度，经常会使原有的基调和节奏与新的叙事语言发生冲突。

 

电影配音市场在 2019 年价值 2.4B 美元，预计到 2027 年将达到 3.6B 美元。好莱坞对国际内容的需求越来越大。近年来，随着《鱿鱼游戏》的成功，以及《寄生虫》 、《世界上最坏的人》、《开我的车》 等电影的成功，人们对外国电影产生了极大的兴趣。尽管这些项目取得了成功，但字幕仍然是工作室进入国际市场的障碍。Adapt 已经在其他 Netflix 电影中选择了一些镜头，用于小场景推断重演，但《冠军》是第一部使用神经渲染技术完全“改编”的故事片。