跳转到主要内容

巧用 MIPI 技术,基于 Agilex® FPGA 构建全链路视觉处理管线

MIPI(移动行业处理器接口)是紧凑型嵌入式系统中连接图像传感器、摄像头和显示屏最为常见的方式之一。对于构建工业视觉、机器人、医疗影像、智能摄像头、边缘 AI、广播或显示应用的设计人员而言,MIPI 互联通常是整个视频处理管线中的第一步。

如今,Agilex® 5 和 Agilex® 3 FPGA 为客户提供了一条捷径,可将 MIPI 摄像头和显示数据直接接入可编程逻辑。借助面向 CSI(摄像头串行接口)和 DSI(显示串行接口)应用的原生 MIPI D-PHY 连接能力,设计人员能够更便捷地连接传感器和显示屏,并充分利用 FPGA 逻辑阵列进行实时处理、数据聚合、协议适配和系统控制。

Image
Agilex® 5 和 Agilex® 3

Agilex® 5 和 Agilex® 3 MIPI D-PHY 支持特性概览

Image
Agilex® 5 和 Agilex® 3 MIPI D-PHY 支持特性概览

为何 MIPI 聚合带宽如此重要?

虽然 MIPI D-PHY 带宽通常以单通道来衡量,但系统的实际处理能力,取决于整个接口和设计中可用的总带宽。例如在采用 8 通道配置的 Agilex® 5 架构中,客户可为摄像头或显示管线提供高达 28 Gbps 的原始 D-PHY 带宽。

这种带宽余量至关重要,因为在实际的图像和显示系统中,传输的数据远不止于有效像素。系统设计还需为更高位深、HDR 或多重曝光数据、嵌入式元数据、协议开销、消隐间隔,以及未来传感器或显示器的升级预留充足空间。

对客户而言,聚合容量不仅可以支持更高分辨率的传感器、更高的帧率,还能通过虚拟通道实现多路视频流的并发传输,并在保持紧凑型 MIPI 连接形态的同时,为未来的功能扩展预留更多空间。

此外,单通道速率的微小提升,在多个通道和系统中的多条 MIPI 链路上被成倍放大后,其带来的整体价值也会成倍增长。

通过多个点对点接口实现 MIPI 横向扩展

高带宽视觉和显示系统通常需要不止一条 MIPI 连接。例如,物理 AI 系统的发展正推动着边缘侧对更多摄像头、图像传感器和实时数据源的需求。无论是机器人、工业设备、医疗影像系统、智能摄像头,还是自主平台,都日益需要捕捉物理世界的多重视角,在靠近数据源的位置对传感器数据进行预处理,并将这些数据高效地传输至下游处理器。

Agilex® 系列芯片不仅支持在单接口内部进行 MIPI D-PHY 连接扩展还能跨越多个点对点接口实现横向扩展,这为设计人员提供了更加丰富的架构选项,使其能够灵活平衡传感器数量、通道数、引脚占用率和系统带宽。

高速 IO Bank (HSIO Bank)可被配置为支持多个 MIPI D-PHY 接口,使设计人员能够灵活地将多个传感器直接连接到 FPGA。

数据进入 FPGA 后,设计人员可以在传感器数据流传递到系统更深层之前,对其进行预处理、同步、滤波、格式转换或聚合操作。聚合后的输出数据,即可通过更快、更宽的 MIPI 接口进行传输,也可通过 PCIe、USB 或以太网等高速链路进行传输——这些链路在 FPGA 内部均以硬核 IP 的形式提供。

这种系统级的扩展能力至关重要,因为 MIPI 的带宽优势会在每个通道和每个接口上进行叠加。高容量单接口有助于应对要求苛刻的传感器或显示屏,而多个点对点接口则可帮助系统架构师将多个 MIPI 器件直接连接到 FPGA 逻辑资源,从而实现数据聚合、预处理、格式转换或向其他接口的传输。

借助 MIPI 与 FPGA 逻辑阵列,

客户可以构建怎样的系统?

MIPI 数据进入 FPGA 后,设计人员便可在靠近传感器或显示屏的位置,灵活添加自定义图像预处理、多传感器聚合、格式转换、显示桥接、低延迟控制、数据压缩、AI 预处理或视频传输等功能。当系统需要支持新型传感器、适配处理器的接口限制,或通过定制化的视频和视觉管线实现产品差异化时,这种灵活性就将发挥极大的作用。

案例:以 MIPI 作为 AI 视觉管线的入口

面向 Agilex® 5 的 Holoscan MIPI 转 10G/25G 以太网传感器桥接参考设计,打通 MIPI 接入全链路 AI 视觉流程。图像数据通过 MIPI D-PHY 和 MIPI CSI-2 接口进入 FPGA,转为 AXI4-Stream 协议后,搭配 NVIDIA Holoscan 传感器桥接与低延迟以太网 IP,实现从图像传感器到以太网传输再到 AI 端处理的完整通路。

Image
案例

更广泛的视频与视觉生态的重要一环

Agilex® 5 和 Agilex® 3 对 MIPI D-PHY 的支持,是 Altera 更广泛的视频解决方案技术栈的重要组成部分。该堆栈整合了互联 IP、图像和视频处理 IP、参考设计、开发套件、技术文档和合作伙伴解决方案,可助力客户加速从评估阶段迈向量产落地。

Image
视频解决方案

专为落地实践而生,不止于互联

MIPI D-PHY IP 用户指南还提供了深度的实现细节,对技术人员极具参考价值。该 IP 不仅支持 AXI-Lite 寄存器访问、提供可生成的设计示例、仿真支持,还具备流量生成和校验功能、并支持基于 Signal Tap 的验证。

此外,文档中还详细阐述了引脚规划、校准、均衡、时钟和复位等方面的指导。这些丰富的特性与文档支持,使得 MIPI 支持不再仅仅是一个孤立的接口勾选框,而是真正融入到了务实、可落地的工程设计流程之中。

文章来源:Altera