AI系统中的近传感器、低延迟、数据融合传感器中枢（HUB）

judy 在 周三, 09/17/2025 - 17:08 提交

摘要

莱迪思半导体推出的基于FPGA的传感器中枢，为智能机器人的研发提供助力。它具备灵活的I/O接口，且支持在传感器附近进行并行计算，能够实现与多个传感器及执行器的连接，同时达成低延迟、低功耗的计算效果。该传感器中枢可承接CPU与GPU中特定传感器的、底层的实时计算任务，使其能专注于高层级智能任务的处理。此外，莱迪思解决方案还拥有小尺寸、功耗低且无需冷却系统（如风扇）的优势，因此非常适合应用于工厂场景中的机器人。

引言

半个多世纪以来，自主移动机器人一直在工业制造领域与人类协同工作。自20世纪50年代世界首台工业机器人研发并投入使用以来，企业便开始将枯燥或危险的任务交由这些机器完成，从而让员工能够专注于更精细的工作。如今，这类机器人的应用已不再局限于工业领域，还拓展到了医疗、零售、农业等多个垂直行业。

此外，技术的进步——尤其是人工智能（AI）与机器学习领域的发展——催生了新一代更智能的机器人。它们不再局限于重复作业，而是能够执行复杂程度高得多的任务。例如，借助计算机视觉、自主移动等能力，这些机器人可完成从产品组装、质量检测到高级威胁识别与应对等各类工作。

简言之，已成为增强劳动力的重要资产，既能保证极高的精度，又具备无限的生产力潜力。然而，随着企业对机器人助手的要求不断提高，这类系统的设计难度也在呈指数级上升。

不断增长的设计挑战

搭载AI技术的智能机器人，相比前代产品需要更多的传感器与执行器，具体包括摄像头、激光雷达、雷达、惯性测量单元（IMU）、电机编码器及压力传感器等组件。同时，这类机器人还需实时执行更为复杂的计算任务，例如3D视觉处理、同步定位与地图构建（SLAM）以及拾取点计算等。

因此，构建这类系统需要两方面支撑：一是配备更多I/O接口以适配数量庞大的传感器；二是提升处理模块（如CPU、GPU或NPU）的性能，以实现更复杂的计算功能。但问题在于，这两项需求之间存在矛盾。要实现更高性能，处理模块需采用先进制程工艺制造——通过缩小晶体管尺寸，集成更多晶体管。然而，在先进制程下，I/O接口的设计难度会显著增加。例如，即便采用先进制程，I/O接口的尺寸也无法同步缩小，导致其成本相对更高；此外，先进制程中I/O接口支持多电压的难度也会加大。这使得高性能处理模块的I/O接口往往会“整合精简”，仅支持PCIe、千兆以太网等标准高带宽接口，而非兼容低带宽、通用化的非标准接口。这种情况导致设计人员通常无法仅依靠处理模块，来实现与系统所需的各类传感器之间的连接。

此外，即便某一计算模块能为智能机器人提供足够或适配的I/O接口以满足连接需求，将大量原始传感器数据直接传输至该计算模块的做法也并不节能。更重要的是，CPU、GPU等传统计算模块并未针对智能机器人所需的实时处理能力进行优化。例如，若将传感器融合等关键任务交由CPU处理，会给系统带来延迟，大幅降低其运行效率。

值得庆幸的是，硬件设计与开发人员正专注于创新相关产品，以帮助填补这些技术空白。

FPGA：极具价值的硬件解决方案

FPGA正是能解决上述问题的产品之一，这类灵活的半导体器件，可作为传感器、执行器与CPU之间的桥梁。凭借实时、近传感器的计算能力，FPGA 能够承接底层、传感器专属任务，为企业所需的更智能、响应更敏捷的机器人提供支持。

数据经过FPGA的第一层处理后，会通过标准的高带宽通道传输至CPU。通过这种方式对智能机器人的处理任务进行拆分，FPGA可分担CPU的部分处理负载，从而为轨迹规划、聚类分析、目标检测等高层级计算节省能耗。这使得CPU能专注于那些难以在硬件层面完成的优化与决策类任务。

例如，这种架构还能帮助开发人员克服以下几方面的挑战：

■  互连：FPGA提供更多I/O接口，且这些接口的协议与电压等级可自由定制。开发人员可借助以太网、SPI、HDMI、MIPI、I2C、UART、甚至GPIO等接口连接并控制更多传感器与执行器，从而以周期级精度支持非标准协议。这拓展了开发人员的选择空间，以满足不同应用场景的需求。

■  功耗：FPGA可在机器人传感器附近实现基于硬件的并行计算。通过实时本地化处理传感器数据，再将处理后的数据传输至CPU等计算模块，FPGA有助于降低整个系统的能耗。

■  延迟：FPGA能显著加速传感器融合等关键任务——这类任务会整合来自摄像头、激光雷达等各类传感器的数据，构建全面的环境视图，进而提升机器人的判断准确性与决策效率。例如，假设VLP16激光雷达传感器每1.32毫秒会通过网络传输384组距离数据，而FPGA仅需0.32毫秒就能处理完这些数据，运算速度可达每秒1亿次操作。

这些优势为设计人员提供了灵活性，使其能在智能机器人中集成数量众多、类型多样的传感器；在突破机器人性能上限的同时，也能有效控制能耗与延迟，满足系统约束要求。

莱迪思解决方案

为展示采用莱迪思FPGA的传感器中枢的性能，我们搭建了一个概念验证演示系统。该演示系统可在单个LatticeAvant™FPGA中，同时处理来自摄像头、激光雷达和雷达的数据流。图1展示了该概念验证系统的框图。

图1：LatticeAvantFPGA传感器中枢功能的概念演示框图.png

图1：LatticeAvantFPGA传感器中枢功能的概念演示框图

摄像头与激光雷达数据以UDP数据包形式通过以太网传输至FPGA。激光雷达数据由激光雷达处理模块负责处理：先对UDP数据包进行解包，提取出每个激光发射器的距离信息；再通过数学计算将距离信息转换为点云信息。该数学计算采用32位单精度浮点数（FP32），我们通过高层次综合（HLS，High Level Synthesis）工具，基于参考C代码生成了寄存器传输级（RTL）代码。随后，点云会根据给定的输入视角映射到2D平面，以便在输出屏幕上显示。这部分功能同样通过HLS工具，由参考C代码生成对应模块。边界框匹配模块的作用是，将摄像头传感器输出的机器学习结果与其他传感器数据进行传感器融合。
摄像头输出的图像数据会先被捕获，再进行降采样处理，用于基于机器学习的人体检测任务。机器学习/视觉引擎（ML/VE）模块运行神经网络，检测人体上半身并输出对应的边界框。这一功能通过sensAI解决方案套件实现。
对于雷达数据，雷达的模数转换器（ADC）输出通过LVDS总线传输。本概念验证中，雷达被配置为4通道模式，每个通道的数据需依次经过RangeFFT（快速傅里叶变换）、DopplerFFT、CFAR及AngleFFT处理，最终输出多个目标的坐标与速度信息。开发过程中，我们使用Matlab工具调试雷达参数，并利用雷达捕获的真实数据在Matlab中验证算法与参数的有效性。参数验证通过后，再通过Simulink HDL流程生成FFT及其他处理模块。
人体检测神经网络输出的边界框，会与激光雷达、雷达的输出数据进行融合，以提升检测精度与决策可靠性。具体而言，我们会计算激光雷达点云中与每个检测边界框（即对应人体）匹配的区域，从而得出每个人体的实际距离；同理，通过识别与人体对应的雷达点，不仅能获取人体的移动速度，还能进一步确认目标为 “真实人体”（而非等比例人体图像），提升检测可信度。所有这些信息会传输至 RISC-V CPU，由其完成后处理，并通过 OpenCV 实现用户交互界面（详见图 2）。
这种传感器融合技术可支持多种智能应用场景：例如，在监控系统中，无需持续运行摄像头与AI/ML模块，而是先通过雷达检测是否存在移动目标，仅在检测到目标后，再启动AI/ML模块处理摄像头数据——此举可大幅降低AI/ML计算带来的能耗。另一应用场景是工厂中的虚拟安全围栏：传统基于雷达的安全围栏传感器需先“了解”环境，才能过滤传感器周围结构产生的反射噪声，否则难以从其他结构的反射噪声中区分出人体信号。而通过摄像头实现的AI/ML人体检测可解决这一问题：人体检测神经网络会输出人体占据的区域（即感兴趣区域，ROI），雷达只需重点处理该区域内的数据即可。这一方案省去了静态反射噪声测量与过滤的繁琐流程，即便环境发生变化，基于AI/ML的感兴趣区域检测也能应对。
激光雷达与雷达的处理时间如下：
■ 对于VLP16激光雷达（每1.32毫秒通过1个UDP数据包发送384组距离信息）：我们采用1个处理引擎（通过HLS生成），在100 MHz时钟频率下，处理每个数据包仅需0.32毫秒。若需提升吞吐量，可并行部署多个处理引擎。
■ 对于TI FMCW 2243雷达：我们将其配置为4通道模式，每40毫秒发送1帧数据。若采用1个处理引擎（即4个通道按串行方式依次处理），处理时间为6.5毫秒；若为每个通道并行部署独立处理引擎，在100 MHz时钟频率下，处理时间可缩短至1.6毫秒。
图2：将人体检测神经网络的边界框输出与激光雷达、雷达数据进行融合.png

图2：将人体检测神经网络的边界框输出与激光雷达、雷达数据进行融合

结论

莱迪思推出的基于FPGA的传感器中枢，为智能机器人的研发提供诸多优势。其具备灵活的I/O接口，能够实现多个传感器的连接与数据汇聚，以及多个执行器的控制。在传感器附近开展的基于硬件的并行计算，可实现低延迟、低功耗运算，并能承接CPU、GPU、NPU中特定于传感器的底层实时计算任务。这一特性带来两种应用可能：一是使用低端计算模块以降低BOM成本；二是将计算模块的更多资源用于实现高层级功能（而非处理底层计算），从而增强系统性能。

在开发流程方面，该方案可结合高层次综合（HLS）、MATLAB/Simulink工具、硬件在环（Hardware-in-the-loop）技术，以及经过优化的RTL代码。最后同样重要的是，莱迪思解决方案具备小尺寸、功耗低且无需冷却系统（如风扇）的特点，因此非常适合应用于多粉尘的工厂环境中的机器人，以及安装在塑料外壳内的智能传感器。

莱迪思
自主移动机器人
AI应用