云端 GPU 搭配边缘 FPGA 推理,先算清 KV 缓存搬运成本

2026 年 11 月 17 日,Huang 等人在 arXiv 发布 HyCoInfer 预印本,研究云端 GPU 与边缘 FPGA 如何共同服务大语言模型请求。系统把提示词预填充放在云端 GPU,并将逐词解码分配给 GPU 和边缘 FPGA。论文实验包含 NVIDIA V100、AMD Xilinx Alveo U280 与不同速率的网络。对准备搭建异构原型的团队,这个案例首先提醒了一件事,将任务交给另一块加速器时,计算状态也必须及时送达。

请求调度同时考虑计算与通信

预填充可以并行处理较多输入词元,逐词解码则反复读取权重和不断增长的键值缓存。二者对计算与存储的压力不同。把一部分解码工作交给 FPGA,可能释放云端资源,但需要把对应请求的键值缓存和控制状态搬到边缘。提示词越长,初次搬运量与边缘容量压力通常越大。若只是看到边缘设备空闲便分配请求,网络上的等待可能抵消原本想获得的收益。

HyCoInfer 把队列负载、提示词长度和网络状态纳入放置决策,并使用按层流水传输、解码侧预计算和自适应缓存压缩。这些手段改变的是服务系统中的时间分布。评估自己的原型时,可以先记录提示词进入、预填充完成、首批状态抵达、首词元返回及最后一个词元返回的时间,再检查传输是否与后续计算重叠。每条记录还应关联输入长度、输出长度和请求当时的排队情况。

验收以达标请求和输出质量为边界

论文的有效请求吞吐量按同时满足首词延迟和后续词元间隔要求的请求计数。工程比较也应先固定服务目标和输入分布,再评估单一设备与异构部署。压缩缓存能够减小搬运量,但还要检查编码、解码时间,以及不同输入任务下的输出质量。模型、精度、压缩配置和软件版本应与性能记录一起保存,便于比较是否来自调度改善或数值策略改变。

可以从固定网络带宽开始,逐步加入延迟波动与突发请求,观察调度是否会在设备之间来回迁移,边缘队列是否持续增长,以及失败请求如何回退。论文结果对应作者选择的模型、平台和工作负载,复用时需要在自己的服务边界上重跑。只有同时看见网络搬运、设备等待、计算执行和质量检查,才容易判断 FPGA 应承担多大比例的请求,以及瓶颈下一步会移向哪里。

服务器与 FPGA 加速卡组成的推理原型实验场景

AI 生成的应用场景示意图:服务器与 FPGA 加速卡组成的推理原型实验场景。

参考来源

👍 点赞 · 0