本文由 DELTACAST 产品经理 Olivier Antoine 联合撰写
虚拟制作已经改变了电影制作人、游戏开发者和视觉效果艺术家创作沉浸式内容的方式。它能够实时融合物理与数字环境，带来显著的优势，如节省成本、增强创意控制以及简化工作流程。近来的电影及工作室制作已经展示了其潜力，通过无缝整合实景与 CGI 树立了新的行业标准，开辟了独特的创意可能性。现在，小型工作室和新闻媒体也正采用这项技术，以营造身临其境的感觉。
推动虚拟影视制作转型的一项重要技术进步是采用现场可编程门阵列（ FPGA ）与自适应片上系统（ SoC ）器件。AMD Kintex UltraScale+ 与 Virtex UltraScale+ FPGA 属于可在制造后编程的集成电路，能够执行广泛的功能，并利用可编程逻辑提供可定制的硬件框架。这种适应性使开发人员可以针对特定任务定制 FPGA 配置，从而优化性能与效率。
AMD Zynq UltraScale+ 自适应 SoC 与 Versal 自适应 SoC 将多处理器与 FPGA 可编程逻辑和其他功能相结合，提供了硬件和软件可重新配置的组合。AMD FPGA 和自适应 SoC 的可编程特性使其非常适合需要实时视频处理和低时延性能的应用与系统。这些多功能且强大的器件能够提升虚拟制作流程，将复杂的视觉效果无缝集成到各种设备中，包括电影摄影机、摄像机跟踪器、LED 墙、内容生成系统以及监控解决方案。
FPGA 与自适应 SoC 在虚拟制作设备中的优势
在虚拟制作设备中采用自适应计算技术能够克服多重挑战，使系统正常运行：
提升性能与效率：FPGA 与自适应 SoC 擅长管理高清、4K、8K 乃至更高分辨率的实时视频处理和传输所需的高数据吞吐量。
低时延：时延是虚拟制作中的一个关键因素，尤其是在整合实景镜头与数字元素时。任何时延都可能破坏这些组成部分的无缝融合，导致视觉体验不连贯。自适应计算技术能以最低时延处理数据，确保虚拟制作系统实时运行，同时保持不同元素之间的同步。这种低时延性能对于虚拟电影摄影等应用至关重要，因为导演需要立即看到效果，以便即时做出创意决策。
可扩展性与适应性：自适应计算技术可轻松进行更新和调整，确保设备在研发过程中甚至在拍摄现场都能随着技术的进步而演进，同时也能进行扩展，以支持更大的系统和像素画布尺寸。
提升电影摄影机与摄像机跟踪器性能
在电影摄影机中，FPGA 与自适应 SoC 可实现先进的图像处理功能。它们能以最低时延应对高分辨率图像和传感器数据管理，同时支持 HDR 处理，确保所捕捉的素材在不同光照条件下都能保持高质量。它们还能提供实时视频编码与解码，使电影制作人能够通过远程监控以出色的清晰度和速度捕捉和处理图像。
自适应计算也在摄像机跟踪器中发挥着重要作用，实现精准且快速的数据处理，这对于无缝整合实景镜头与虚拟元素至关重要。这些器件可提供实时跟踪与稳定所需的计算能力，确保流畅准确的动作捕捉。当与AI结合时，FPGA 与自适应 SoC 还能提升目标识别与场景分析能力，从而在拍摄过程中实现更精准的跟踪和自动调整。
为 LED 墙提供支持
LED 墙已成为虚拟制作中不可或缺的部分，为实景拍摄提供了动态和互动背景，对于营造沉浸式虚拟环境至关重要。从 LED 墙控制器和像素处理器到 LED 块的像素控制，FPGA 在驱动这些高分辨率显示器方面表现出色，可提供实时视频处理与同步。其并行处理能力确保了流畅的性能，即使在应对沉浸式环境所需的复杂图形内容时也是如此。自适应计算技术能够动态调整显示效果，以匹配虚拟场景的照明与视角，确保物理与数字元素的无缝融合。这一功能对于保持虚拟场景的深度和真实感至关重要。此外，LED 墙还能利用 FPGA 与自适应 SoC 进行实时像素处理与色彩校正。
低时延监控解决方案
在监控解决方案中，FPGA 提供了处理多个视频流所需的高速数据处理能力，并实现最低时延。这种低时延性能对于保持虚拟制作系统中不同元素之间的同步至关重要。设备制造商可以利用 FPGA 开发提供实时反馈的监控系统，使导演、制作团队和技术人员能够立即做出调整，确保制作质量。
音视频接口卡在虚拟制作中的重要性
音视频接口卡是虚拟制作处理系统中不可或缺的组成部分。要用内容创造奇迹，您首先需要能够将其输入和移出您的系统！这些接口卡基于 ST 2110 和 IPMX 等 AV-over-IP 标准以及 SDI 和 HDMI 标准，因此需要具备高速数据处理和低时延处理能力。FPGA 提供了必要的性能来高效处理这些任务，确保媒体流传输流畅可靠。这种能力对于保持制作内容的完整性和质量至关重要。FPGA 可处理实时数据传输与同步的复杂任务，确保将高质量音视频信号无缝集成到虚拟制作工作流程中。这确保了跨各种设备和格式的兼容性与互操作性，促进了制作流程的顺畅与高效。
DELTACAST 是面向 OEM 厂商和开发商设计、开发和制造实时视频传输和处理解决方案的领导者。其解决方案可提供高质量和低时延，以满足电视广播、专业音视频、医疗和众多其他市场中要求严苛的应用。
针对直播视频应用，该公司提供了一系列 SDI、HDMI、DisplayPort 和 IP ST 2110 视频卡。现在，这些视频卡已完全兼容虚幻引擎 5（ Unreal Engine 5 ），使得媒体服务器用户能够将虚幻引擎的实时渲染能力与 DELTACAST 视频卡捕捉的实时视频输入无缝融合，并将实时 3D 渲染作为 SDI、HDMI、DP 或 IP 视频信号发送出去。这一功能在基于 LED 墙的虚拟制作工作室中尤为实用。
为了设计虚拟场景，业界明智地采用游戏引擎来实时渲染令人惊叹的逼真内容，并将其投影到 LED 墙上。3D 环境必须根据拍摄现场摄像机的跟踪信息进行实时计算，并以尽可能低的时延投影到 LED 显示屏上，从而确保背景与摄像机移动保持一致。
DELTACAST I/O 卡和 FLEX 解决方案的特色是将视频以最低时延输入和移出虚幻引擎等游戏引擎。借助免费的 DELTACAST Media Plugin，所有 SDI、HDMI 和 DisplayPort 卡型号均可在虚幻引擎中使用。
ST 2110（以及基于相同协议的 IPMX ）在虚拟制作中越来越受欢迎，特别是在 LED 墙控制器领域，因为它具备支持大尺寸像素画布作为背景的可扩展性，还实现了不同音视频和广播技术之间的互操作性。ST 2110 是由 SMPTE 联盟定义的开放标准系列，旨在为广播基础设施中使用的传统 SDI（串行数字接口）连接提供 IP 流媒体替代方案。由于网络带宽和计算机处理能力的不断提升，利用 IP 基础设施进行内容制作（其中最佳图像质量至关重要）现已成为技术现实。如今，10、25、100 和 400Gb/s 以太网连接可轻松传输多个 1080p、4K 甚至 8K 的未压缩馈送。通过采用 JPEG XS 和高吞吐量 JPEG 2000 等无损图像编解码器，甚至可以进一步优化网络链路的使用。
DELTACAST 已推出专门用于 IP 视频流的型号。其中，DELTA-ip-ST2110 10 和 DELTA-ip-ST2110 01 是双 10GbE 接口卡，支持 SMPTE ST 2110 视频、音频及辅助数据流的接收和传输。DELTACAST ST2110 卡因其互操作性而成功赢得了“根据 JT-NM 测试计划对 SMPTE ST 2110进行自我测试”徽章。DELTACAST 产品组合提供了多种 I/O 卡，具备多种输入和输出组合，因此您可以根据具体的设置选择合适的型号。
自 1986 年成立以来，DELTACAST 一直采用 AMD FPGA。如今，该公司在其视频 I/O PCIe 板和摄像机控制板中使用了各种 AMD FPGA 与自适应 SoC。AMD 技术使 DELTACAST 视频卡能够为要求严苛的工作负载提供快速视频传输和处理。这包括将虚幻引擎的实时渲染功能与 DELTACAST 卡捕捉的实时视频输入相融合的媒体服务器。
AI 驱动的 FPGA 与自适应 SoC在虚拟制作中的应用
AMD 自适应计算技术在虚拟制作中的应用不断演进，持续的研发推动着新的创新。一个令人兴奋的领域是将人工智能（ AI ）和机器学习算法集成到 FPGA 与自适应 SoC 架构中，在边缘和拍摄现场直接捕捉和处理数据，最大限度降低时延。这种组合可以通过实时智能处理视觉数据来彻底改变虚拟制作。场景分析和目标检测可以加速工作流程，自动设置并更快地完成拍摄。FPGA 可用于部署 AI，根据场景环境自动调整照明和纹理，进一步简化制作流程并提高视觉质量。
突破创意边界
对于专业音视频和广播行业的设备制造商而言，了解 FPGA 与自适应 SoC 在虚拟影视制作中的价值至关重要，因为它们提供了可定制、高性能和低时延的解决方案。随着对复杂和沉浸式数字内容需求的不断增长，利用自适应硬件平台将成为推动虚拟制作突破创意与技术卓越边界的关键。通过将 FPGA 和自适应 SoC 集成到设备中，制造商可以为制作团队提供所需的工具，以创造视觉上令人惊叹的无缝虚拟体验。
随着对更复杂和沉浸式数字内容的需求持续攀升，AMD 自适应计算技术在虚拟影视制作中的作用也将不断扩大。借助这些多功能器件，制作团队可以突破创意与技术卓越的边界。FPGA 能够提升性能、降低成本并适应新的需求，是提升虚拟制作能力的重要资产。随着行业不断创新，FPGA 的作用只会持续增强，推动未来叙事和内容创作的发展。虚拟制作的未来之旅才刚刚开始，在 FPGA 的助力下，将迎来无限可能。
下一步
了解更多 AMD 专业音视频与广播方案，请访问官网专区。
