1. 方案背景
随着机器视觉、机器人及边缘 AI 应用的发展,传感器数据正向高分辨率、高帧率和多路协同演进。系统需要同时解决前端接口、持续传输、数据组织和主机接收等多个环节的问题。
以摄像头为例,图像数据需要经过接收、FPGA 处理、网络传输和主机侧解析,才能进入后续 AI 应用。单一模块满足规格,并不代表整条数据通路已经满足实际应用要求。

四类典型挑战

HSB 的切入点
Holoscan Sensor Bridge(HSB)是一套以 FPGA 与以太网为核心的传感器桥接架构,用于连接传感器接入、数据封装、网络传输和主机软件。其定位是数据桥接与设备控制,不替代传感器,也不直接完成 AI 模型推理。
本方案的核心思路
采用 PV65 FPGA 承担 MIPI CSI-2 数据接收和桥接,通过 HSB FPGA IP 组织数据,再经 10GbE 将数据送至 NVIDIA 边缘计算平台。
2. 方案概述
前端双路 IMX678 摄像头通过 MIPI CSI-2 接入 PV65 FPGA;FPGA 完成接收、解析、数据对齐和缓存,并将数据送入 HSB FPGA IP 进行组织与网络封装,最后经 10GbE 链路传输至 Jetson AGX Orin。

图 1|双路摄像头采集与主机显示演示现场
三个核心组成部分

3. 系统架构
PV65 FPGA 位于传感器与主机之间:左侧通过 MIPI CSI-2 接收双路图像数据,芯片内部经过 CSI-2、SIF 和 HSB 数据通路处理,右侧通过 Ethernet MAC、PCS 与 SerDes 等模块接入网络。

图 2|PV65 / HSB 系统架构图
系统功能分层

两条路径,分工明确
- 数据路径:传感器 → MIPI/CSI-2 → SIF → HSB → Ethernet → 主机接收
- 控制路径:主机控制请求 → FPGA 控制逻辑 → 板级 I²C 等接口 → 传感器配置
3.1 传感器接入
采用双路 Sony IMX678 摄像头接入 PV65 FPGA,配置为 4K30 RAW12 图像采集模式。
每路摄像头通过 4-Lane MIPI CSI-2 接口输出图像数据,物理层采用 MIPI D-PHY,单 Lane 传输速率为 1.2Gbps,四条 Lane 的标称总速率为 4.8Gbps。
图像数据进入 PV65 FPGA 后,首先由 MIPI D-PHY 接收模块完成高速信号接收,随后通过 CSI-2 RX 模块进行协议解析,提取有效图像数据。经过 SIF 接口适配后,转换为 64-bit AXI-Stream 数据流,最终送入 HSB FPGA IP,实现双路传感器图像数据的接收、组织与高速传输。

接收链路的四项关键处理

3.2 HSB 核心
HSB FPGA IP 位于传感器流接口与主机网络接口之间。它将前端传感器数据组织为相应的网络数据,并处理主机侧设备配置与寄存器访问请求。

从主机配置到数据处理

3.3 10GbE 传输
HSB FPGA IP 通过 Host AXI4-Stream 接口输出数据,后续 Ethernet MAC 承担相应帧处理,PCS 负责物理编码相关功能,PMA / SerDes 负责高速串行收发。

链路与主机软件
FPGA 经相应光电转换通过万兆网线连接至主机侧以太网接口。

4. PV65 芯片优势

HME-PV65
基于 HME PV65 FPGA 的 HSB 高速传感器接入方案,充分发挥 FPGA 高速接口资源、可编程逻辑及 HSB 数据桥接能力,实现双路高清图像采集、高速网络传输与 NVIDIA 边缘 AI 平台的协同处理,构建从传感器采集到智能视觉应用的完整数据处理链路。
丰富的高速传感器接口资源。 PV65 集成高速 MIPI D-PHY、C-PHY 接口,D-PHY 数据速率最高达 4.5Gbps,C-PHY 符号速率最高达 3.5Gsps,同时支持最高 1.5Gb/s 的 LVDS I/O,可灵活适配不同接口类型及传输速率的图像传感器,满足多路高清视觉数据的接入需求。
高速串行传输与灵活的 IP 集成能力。 PV65 提供 4 通道高速 SerDes 收发资源,单通道最高支持 12.5Gbps 协议速率。结合以太网 MAC、PCS 等接口 IP 及 FPGA 可编程逻辑,可构建 10GbE 高速数据传输链路,实现传感器数据的高效封装与网络传输,为视觉采集与边缘 AI 计算提供高速互联基础。
芯片完整规格参考如下

5. 应用方向
基于 PV65 FPGA 的 HSB 方案,将前端传感器接口、FPGA 数据桥接、以太网链路和 NVIDIA 计算平台连接起来,为图像数据从采集端进入主机侧应用提供清晰的工程实现路径。

方案价值
将芯片资源转化为系统能力
PV65 FPGA × HSB FPGA IP × 10GbE × NVIDIA Jetson
- 从传感器接入到主机计算,构建完整的数据桥接链路

PV65 提供硬件资源和可编程数据通路,HSB 提供传感器数据桥接机制,网络链路负责将数据送往主机,而后续智能视觉能力由主机软件与应用程序实现。
- 高速多制式 PHY 接口,具备强大的传感器接入能力
PV65 FPGA 集成高速 MIPI D-PHY / C-PHY 物理层资源,其中 D-PHY 单 Lane 最高支持 4.5 Gbps,C-PHY 最高支持 3.5 Gsps 符号速率。同时支持 LVDS(最高 1.5 Gb/s)、SLVS 等差分接口资源,可根据传感器接口标准、数据格式及传输速率需求,构建相应的数据接收与适配通路。

丰富的高速 PHY 资源为多类型图像传感器接入提供硬件基础,可面向工业摄像头、多路高清摄像头及深度传感器等场景,支持不同接口类型的传感器接入与数据采集,拓展 FPGA 在高速视觉感知领域的应用范围。
本方案应用示例|双路 IMX678 摄像头接入
采用双路 IMX678 摄像头,按 4K30 RAW12 模式进行图像采集。每路摄像头通过 4-Lane MIPI D-PHY 接口接入,单 Lane 配置速率为 1.2 Gbps。图像数据经 FPGA 完成高速接收、CSI-2 协议解析与数据适配后,送入 HSB FPGA IP,进入后续网络桥接链路。
文章来源:京微齐力