莱迪思 Holoscan Sensor Bridge 解决方案:弥合物理 AI 的“传感器 — 计算”鸿沟

随着硬件与软件的进步,人工智能正从数字世界走向物理世界,模型部署开始对现实世界产生切实影响。无论是制造环境中的人形机器人,还是航空航天领域的自主无人机,AI 正被部署到越来越多的移动化、自主化场景中。

真正的挑战不在于发现新的物理 AI 应用场景,而在于如何支持这些应用规模化落地。在近期举办的网络研讨会上,Lattice 专家与 NVIDIA 及 Tauro Technologies 共同探讨了开发者如何实现确定性、低延迟的传感器到计算单元数据流传输,从而更有效地部署物理 AI。

物理 AI 的发展速度超过了设备互联能力

物理 AI 规模化的根本瓶颈其实很简单:带宽与速度。

现代设备通常搭载数十个高分辨率传感器(摄像头、激光雷达、超声波、雷达等),产生前所未有的海量数据。边缘 AI 模型的数据规模已从吉比特(Gb)级,发展到每秒数十甚至数百吉比特(Gbps),这些数据都必须被实时传输、处理并转化为行动。

这就要求系统的延迟尽可能低。以人形机器人为例,其自由度可多达 72 个,控制信号的收发频率高达每秒 5000 次。为了协调动作,机器人必须在微秒级而非毫秒级(或更长)的时间内响应传感器输入。

然而,缺乏统一的连接标准,使及时处理变得异常困难。PLC、CPU、GPU 等独立硬件往往针对不同的连接协议进行优化。无论采用 EtherCAT、CAN、RS-485、MIPI 还是 GMSL,每种协议都以各自的速率运行,彼此与系统其他部分并不同步,难以支持低延迟的实时处理。

统一传感与计算能力

为应对这一挑战,开发者正在探索简化传感器数据流与处理流程的方法:不再为每个传感器维护独立的协议,而是引入近传感器桥接器,将所有传感器数据转换为统一的以太网信号。该信号可通过单一网络架构汇聚,并连接到同时负责感知、控制和安全的计算平台。

NVIDIA Holoscan 解决方案提供了在物理 AI 部署中实现这种以太网为核心的连接方式。它可在上电时自动发现并枚举传感器及其功能,并以 Python 或 C++ 编写驱动,避免了内核模块、设备树修改等常见痛点。借助 Holoscan,开发者可获得以下优势:

  • 更精准的时序:多传感器输出可基于 IEEE 1588 PTP 时序标准,实现亚微秒级时间同步与关联。
  • 可复用的集成:一致的连接方式使传感器或计算平台可随时间推移灵活更换,无需大规模重新设计。
  • 更灵活的拓扑:借助标准以太网交换,传感器既可集中部署在计算单元附近,也可分布在机器人各处。

总体而言,Holoscan Sensor Bridge(HSB)有助于简化物理 AI 从传感器到计算平台的整个工作流程。但要做到这一点,它必须能够适配各类传感器接口、传感器数量及以太网速率,这意味着它必须是可编程的。这正是现场可编程门阵列(FPGA)的优势所在。

借助 Lattice FPGA 简化传感器连接

莱迪思的 Holoscan Sensor Bridge 解决方案,面向人形机器人和自主机器人等环境中的可重构 Holoscan 部署而打造。该方案利用 Lattice FPGA 的低功耗、可编程特性,对摄像头、激光雷达、雷达、音频、IMU 和飞行时间(ToF)传感器的数据进行汇聚与预处理,封装为带时间戳的以太网帧,并传送至 NVIDIA Jetson 和/或 Thor 计算处理器。

该方案提供多种配置,分别适用于不同的传感需求。Lattice 与 Tauro Technologies 及 NVIDIA 团队携手构建并部署了这些方案,包括:

双芯片方案

采用 Lattice CrossLink™-NX FPGA 统一传感器输入,并搭配 Lattice CertusPro™-NX 完成数据封装与以太网传输。该方案最适合单通道速率高达 2.5 Gbps 的硬核 D-PHY,已获得广泛采用。

单芯片方案

仅采用一颗 CertusPro-NX FPGA,支持约 1.5 Gbps 及以下的单通道速率,并包含来自合作伙伴 Tauro Technologies 的 MIPI、GMSL 和 SDI 适配卡。

高端方案

采用 Lattice Avant™ FPGA,支持 800 万像素(8MP)及 1,000 万以上像素的传感器,提供最高 4 路 25G 以太网及更多预处理资源。

除可编程性之外,这些基于 FPGA 的方案还具备低功耗和小尺寸的优势,这对开发者尤为重要。在物理 AI 设计中,功耗与空间都极为受限,传输和处理传感器数据所占用的空间和能耗越少,整个系统的运行就越出色。

只有将设备传感器与计算资源有效连接,物理 AI 才能真正实现落地部署。借助 Lattice 基于 FPGA 的 Holoscan Sensor Bridge 提供的低功耗、灵活连接能力,开发者可以更好地构建系统,执行实时、确定性的动作。

如需进一步了解这一物理 AI 协同解决方案,请点击文末【阅读原文】,访问 Lattice Holoscan Sensor Bridge 解决方案页面。

点击此处查看NVIDIA Jetson Thor™ 上的 Holoscan Sensor Bridge 演示视频。

文章来源:莱迪思

👍 点赞 · 0