跳转到主要内容

开源协议 EEVideo:把嵌入式视频延迟压到 25 μs

嵌入式视觉系统对延迟的要求越来越苛刻,但多数工程师在选型以太网视频协议时,面对的仍是同一道取舍:要低延迟,就得接受复杂的协议栈和高资源占用;要轻量化,就得在帧率或管理能力上让步。GigE Vision 和 Holoscan 各有所长,但两者的 FPGA 资源占用都在 10k LUT 以上,留给图像处理和 AI 推理的空间因此受限。

EEVideo(Embedded Ethernet Video)是 Tecphos 开发的一款开源视频传输协议,专为低功耗 FPGA 平台上的嵌入式机器视觉应用而设计。它基于 Ethernet、IP、UDP 和 CoAP 构建,采用 MIT 许可证,不依赖任何专有授权。Lattice Semiconductor 已将其作为旗下低功耗 FPGA 平台的推荐视频传输解决方案。

EEVideo 在延迟上的核心突破,来自一个架构层面的决定:去掉强制帧缓冲。

传统协议等整帧数据到齐后再打包发送,分辨率越高,这段等待越长。EEVideo 的流传输模块采用实时打包(on-the-fly packetization),像素从传感器输出即开始封装,无须等待帧结束。这使传感器到以太网 PHY 的端到端延迟降至 25–125 μs,协议开销通常低于 1%。

在 Lattice CrossLink™-NX-40 上运行 1080p60 RAW 的基准测试显示,完整实现(管理层加流传输层)的 LUT 占用低于 10k,仅占该 FPGA 约 25% 的逻辑资源,BRAM 和 DSP 占用同样保持在较低水平。释放出的资源可用于 Lattice sensAI™ 推理、图像预处理或自定义控制逻辑。

协议本身分为两个相对独立的模块。管理协议基于 CoAP,负责设备发现、参数配置和状态监控,通过 32 位寄存器模型统一操作,与 FPGA 的分布式存储结构高度契合。流传输协议则保持无状态、单向设计,无须握手,头部开销可根据应用需求在 Short、Medium、Long 三种格式之间灵活选择。两个模块可以分开部署,对于资源最受约束的场景,仅运行流传输层即可。

在实际应用中,这些性能数字意味着什么?

在工厂视觉检测系统中

闭环控制要求相机输出与执行器响应在同一控制周期内完成。帧缓冲引入的固定延迟在这类场景中是系统性瓶颈,而非可以通过调参解决的工程问题。EEVideo 的低延迟特性使其适配对响应时间有硬性要求的生产线应用,同时支持通过标准以太网交换机组建多摄像头网络。

在机器人视觉引导系统中

结构光 3D 相机的输出需要实时融入运动规划。延迟积累会直接影响抓取决策的准确率,而 EEVideo 的实时打包机制可以将传感器融合(相机、激光雷达、IMU)的数据通路保持在最短路径上。

在医疗内窥镜和手术显微镜场景中

设备体积和功耗是硬约束。EEVideo 在 Lattice FPGA 上的低功耗实现(核心功耗 125–250 mW)和小封装特性,与便携式医疗设备的设计要求相符。

Tecphos 提供基于 Lattice CrossLink™-NX-40 的 EEVideo 开发板,集成 MIPI 传感器接口、以太网 RJ45 端口和 USB-C 供电,可直接连接摄像头模组进行评估。FPGA IP 授权提供预编译二进制和 VHDL 源码两种形式,支持 CrossLink-NX(1 Gbps)和 CertusPro™-NX(最高 10 Gbps)。

主机端工具链(设备发现、寄存器读写、实时流查看)全部开源,托管于 gitlab.com/eevideo。协议完整规范发布于 eevideo.tecphos.com。

点击查看并下载完整白皮书。

文章来源:莱迪思