端侧推理:FPGA正崛起为“非GPU”阵营的中坚力量
judy 在 周一, 01/26/2026 - 10:22 提交
随着AI应用的迅猛发展,端侧推理正受到前所未有的关注。与数据中心对极致吞吐的追求不同,端侧推理更聚焦于低延迟、低功耗与高可靠性

随着AI应用的迅猛发展,端侧推理正受到前所未有的关注。与数据中心对极致吞吐的追求不同,端侧推理更聚焦于低延迟、低功耗与高可靠性

FINN 是一个由 Xilinx(现 AMD Research)集成通信与 AI 实验室开源的机器学习框架,它提供了一个端到端的方案,用于探索和实现 量化神经网络(QNN)在 FPGA 上的高效推理加速器

在 AI 大模型时代,训练算力固然重要,但 真正掣肘产业落地的往往是推理环节。企业每天处理海量请求,低延迟、高吞吐、成本可控的推理系统,才是 AI 商业化落地的关键。

当前,AI 推理正加速从云端走向边缘。过去,我们依赖云端强大的算力处理 AI 任务;现在,低延迟、高隐私和高能效的应用需求

今天看的这篇论文,是一篇关于FPGA和ASIC在大模型推理加速和优化方向的综述,我们看下目前的研究进展。

Altera最新发布的Agilex 3 FPGA系列吸引了行业内广泛关注,这不仅是因为其出色的硬件设计,还在于它针对嵌入式应用提供了高效的AI推理支持和安全保障

HyperAccel 已经打造出一个快速、高效且低成本的推理系统,加速了基于转换器的大型语言模型( LLM )的推理

AI生命周期包括最重要的两个部分,一个是AI训练,一个是AI推理。

人工智能行业包含一个受技术进步、社会需求和监管考虑影响的动态环境

我们将向您介绍 Vitis AI 3.0 版本启用的一些新功能和增强功能