一块 HME-P3 FPGA,如何常开跑通 29 层 tinyML 人员检测

8,416 个 LUT、112 块 BRAM、7 个 DSP,整网驻留片上;PC 只采集转发,Jetson 按需唤醒

2026 年 11 月 11 日 —— 在京微齐力 HME-P3(飞马系列)P3A100N0F676I7 上,一套面向“常开门卫”场景的 tinyML 人员检测系统完成整网部署。摄像头画面由 PC 原样转发,FPGA 独立完成 320×240 → 96×96 预处理、29 层 int8 卷积推理、结果回传与视频转发;只有判断“有人”时,才唤醒 Jetson 执行 YOLOv8-pose 姿态估计。实测检测约 19.6次/秒,单帧推理约 46ms,整网权重与激活全部驻留片上,无需外挂 DDR。

HME-P3

(一)整体架构:三端协同,FPGA 常开

系统由 PC、FPGA、Jetson 三个节点组成,各自只做最擅长的事:

图 1:端到端数据流。PC 只取 Y 平面并转发,预处理与 29 层推理全部在 FPGA 内完成。

  一帧画面的完整旅程如下:

  • 相机输出 320×240 YUYV,PC 只取 Y 平面(76,800 B),不 resize、不做灰度公式;
  • PC 把一帧拆成 60 个 UDP 包(16 B 头 + 1,280 B 数据),以 20fps 发往 FPGA:5000;
  • FPGA 的 udp_frame_rx 校验帧头与包序号,把像素流交给 mob_prep;
  • mob_prep 完成 96×96 面积平均与 int8 量化,写入 1,152 × 64 bit 输入 RAM;
  • 29 层 int8 引擎完成推理,结果以 32B 的 0x81 包回传 PC:5001;
  • 同一帧 0x03 由 frame_relay 原样转发给 Jetson:5002(可按 cfg13 门控);
  • Jetson 运行 YOLOv8-pose,输出 17 个关键点,以 138B 的 0x82 包回传 FPGA;
  • FPGA 把 0x82 转到 PC,PC 完成阈值判定、状态机与大屏显示。

这套分工的核心是“谁该常开,就让谁常开”:FPGA 常开,持续做低成本的人检测;Jetson 只在有人时启动 GPU 姿态服务;PC 不参与推理,发送链路也不做任何图像处理。FPGA 同时连接两个千兆网口:网口 0 对接 PC(UDP 5000/5001),网口 1 对接 Jetson(UDP 5002)。

(二)P3 做了什么:从收帧到结果回传

在这套架构里,P3 不是简单的“数据搬运工”,而是一个完整的感知前端:收帧、预处理、推理、帧控、转发、结果打包都在片内完成。

2.1 收帧与校验

FPGA 只把 type=0x03、魔数正确、16-bit 校验和正确的包当作图像数据;一帧固定 60 包、76,800 像素,少一个像素都不启动推理。丢包、丢末包会整帧丢弃并复位预处理累加器,避免把上一帧的残留数据混进来。

2.2 预处理:320×240 → 96×96

320/96 = 10/3,240/96 = 5/2,因此每个输出像素对应 3–4 列 × 2–3 行:

  • 行组:输出行 oy 覆盖源行 [floor(5·oy/2), floor(5·(oy+1)/2)];
  • 列段:输出列 ox 覆盖源列 [floor(10·ox/3), floor(10·(ox+1)/3)];
  • 平均:(sum × recip + 32768) >> 16,recip 由窗口大小查表;
  • 量化:q = round((2g−255)×127/255),clamp 到 ±127,256 项 LUT。

输出为 1,152 个 64-bit 字(9,216 B int8 张量),与参考模型逐位一致。面积平均只需要行/列段累加和一次倒数乘法,不需要全帧行缓冲,非常适合在 FPGA 内用流水线实现。

图 2:FPGA 内的 320×240 → 96×96 面积平均与 int8 量化。行组 2/3 行、列段 3/4 列,平均后经 256 项 LUT 量化到 ±127。

2.3 片内存储:权重与激活都放在片上

  • 输入 RAM:1,152 × 64bit = 73,728bit,约 2 个 BRAM 36K;地址映射为引擎字节地址 a = y*96 + x,字地址 a[13:3]、字节选择 a[2:0];
  • 权重:约 21.4 万参数、INT8 权重约 214KB,常驻 BRAM;
  • 单写口:写来自 mob_prep,推理期间禁止写;读口只在 eng_run && eng_ce 更新,保证引擎节拍对齐。

整网不需要外挂 DDR,这也是系统能做到小体积、低功耗、确定性时延的关键。

2.4 29 层 int8 推理引擎

网络为 MobileNetV1(α=0.25,96×96 灰度),29 层 = 27 层卷积 + GAP + FC。量化与计算路径如下:

  • 权重:per-channel 对称 int8;激活:per-tensor 对称 int8;
  • 卷积:int8 × int8 → int32 累加,bias 折叠 BN 后量化为 int32;
  • requant:out = (acc·M0 + (1<<(sh-1))) >> sh,再 clip 到 ReLU6 范围;
  • GAP:(Σ + 4) // 9;FC:int32 累加 + int32 bias,乘每类浮点 scale 得分数;
  • 输出 acc0/acc1,score = round(sigmoid(acc0−acc1)×10000)。

算力侧,1 个 DSP56V4 被配置成 8×10×10 的乘加阵列,每拍完成 8 个 int8 MAC;激活 RAM 采用 64-bit 字(同一像素 8 个通道)双 bank 乒乓,权重 ROM 按 pointwise / depthwise / stem 分别打包。整网约 716 万次 MAC/帧,仿真 287 万拍 @125 MHz ≈ 23ms;板上 ce 二分频后约 46ms/帧,对应 21fps 的引擎上限。

2.5 帧控与鲁棒性

输入 RAM 是单写口,推理期间不能写入,因此帧控必须“整帧级”工作。状态机为 S_RUN → S_WAIT → S_INF → S_EAT:

  • 收帧期间把像素送 mob_prep;frame_eop 且像素数 = 76,800 时进入等待;
  • prep_busy 落沿后启动引擎;
  • 推理期间收到新的 frame_sop → 置 drop_next,整帧丢弃;
  • 推理结束若 drop_next,在 S_EAT 等到下一个 frame_sop 再回 S_RUN;
  • S_EAT 收到 frame_sop 的同一拍就要把 prep_en 置 1,否则第二个像素会丢。

这套机制保证了“宁可丢一帧,也不让半帧数据进入引擎”。

2.6 转发、门控与结果回传

  • frame_relay:把 0x03 payload 原样转发到 Jetson:5002;cfg13 的 bit0 控制转发使能,bit1 控制门控(常转发 / 有人才转发);
  • person_link:组 0x81 结果包,包含 person、frame_id、score、d8、acc0/acc1、状态、收包成功/失败计数与已处理帧数;
  • jetson_link:接收 0x82 姿态包,跨时钟域后转给 PC;
  • 推理结束若 drop_next,在 S_EAT 等到下一个 frame_sop 再回 S_RUN;
  • cfg 寄存器:阈值(cfg0)、调试层号(cfg3)、门控(cfg13)、转发端口(cfg14)、Jetson MAC(cfg16–18)。

2.7 时钟与接口

外部接口包括两个 RGMII 千兆网口、JTAG(烧录与调试)、USB-UART(M3 启动日志)与 12V 供电。

(三)资源账单:整网装进一片中低容量 FPGA

[ 整网部署完成后,HME-P3 的资源占用如下] .

图 3:HME-P3 资源占用率。BRAM 已用 112 / 180 块(62.2%),是最紧的一项;LUT 12.1%、REG 8.4%、DSP 3.9%。

这组数字说明两件事。

第一,整网模型可以完整驻留在一片中低容量 FPGA 上:约 21.4 万参数、INT8 权重约 214KB,配合 1,152 × 64bit 的输入 RAM(约 2 个 BRAM 36K),不需要外挂 DDR。对于门禁、展台、会议室这类成本与功耗敏感的场景,这一点比“更高峰值算力”更有实际意义。

第二,瓶颈在 BRAM 而不是算力:112 / 180 块已用掉六成,LUT 只用了 12.1%,DSP 只用了 3.9%。这意味着后续若要加层、加通道或做双 bank 全帧缓存,BRAM 是首要约束;而算力侧仍有充足空间提高并行度。

(四)实测:19.6次/秒,板级逐位一致

系统已在 HME-P3 EVB 上完成板级验证。person / empty 两组黄金向量的结果与 PC 位真引擎完全一致;person / empty / flat0 / flat100 四组引擎用例在板上 4/4 通过,逐层校验和与 FC/score 全部对齐。

端到端实测:

模型侧,MobileNetV1(α=0.25,96×96 灰度,INT8)在 729 张本地验证集上取得 0.8107 准确率、0.883 AUC;位真整数引擎与 float32 参考的判定一致率为 100%。这意味着 PC 上看到的分数与 FPGA 上板结果可以逐位对账,而不是“看起来差不多”。

图 4:展会大屏实拍。FPGA 常开检测“有人/无人”,Jetson 按需输出 17 关键点姿态,右侧实时显示功耗与链路状态。

(五)这套方案的价值

常开但不昂贵。 FPGA 持续做低成本的人检测,Jetson 只在有人时启动 GPU 服务;无人时整机停留在数瓦级,有人时才进入 8W 级的姿态计算。对于“长期值守、偶尔计算”的场景,这种分层比“让 GPU 一直开着”更划算。

确定性与可对账。 从预处理到 29 层推理全部是定点整数运算,同一份权重、同一份输入下,板上结果与 PC 位真引擎逐位一致。调试时可以直接对比逐层校验和,而不是靠肉眼判断“效果像不像”。

隐私与带宽友好。 原始画面只在本地 PC—FPGA—Jetson 之间流转,不上云;上行给 PC 的检测结果只有 32B,姿态包只有 138B。对于门禁、办公区等隐私敏感场景,这一点尤其重要。

可复用。 预处理、帧控、转发、结果打包都是与模型无关的框架;替换分类模型或调整阈值后,可以较快复用到其他“常开二分类/小模型”视觉场景。

(六)结语与展望

从 320×240 灰度输入到 29 层 int8 推理,HME-P3 用 8,416 个 LUT、112 块 BRAM、7 个 DSP 完成了一次完整的 tinyML 常开部署:整网驻留片上、无需外挂 DDR,检测约 19.6次/秒,单帧约 46ms,板级结果与参考模型逐位一致。

下一步,团队将围绕三个方向继续推进:640×480 原生输入与双 bank 输入 RAM、摄像头 MIPI/DVP 直连 FPGA(让 PC 彻底退出采集链路),以及在 BRAM 余量内探索更细粒度的通道并行。随着预处理和推理都沉到 FPGA,这套架构也可以复用到更广泛的“常开视觉 + 按需大模型”边缘场景。

【附:技术要点】

  • 器件:京微齐力 HME-P3A100N0F676I7(飞马系列 EVB),FUXI rel-522 构建;
  • 模型:MobileNetV1 α=0.25,96×96 灰度,INT8 对称量化,person / no_person 二分类;
  • 引擎:29 层 int8(27 conv + GAP + FC),716 万 MAC/帧,8×10×10 DSP 阵列,约 46ms/帧;
  • 预处理:320×240 → 96×96 面积平均,q = round ((2g−255)×127/255),256 项 LUT;
  • 接口:PC ↔ FPGA 千兆网 UDP 5000/5001;FPGA ↔ Jetson UDP 5002;
  • 资源:LUT 8,416 / REG 11,694 / DSP 7 / BRAM 36K 112;位流 1,446,868B;
  • 一致性:预处理、逐层激活、FC 累加与 score 均与 PC 位真引擎逐位一致,板级 4/4 用例通过。

欲了解更多 HME-P3 系列产品信息及相关解决方案,欢迎联系京微齐力销售与技术支持团队。

文章来源:京微齐力

👍 点赞 · 0