AI推理

FPGA/ASIC在AI推理加速中的研究

今天看的这篇论文,是一篇关于FPGA和ASIC在大模型推理加速和优化方向的综述,我们看下目前的研究进展。

深入解析Altera Agilex 3 FPGA系列:AI推理和安全特性引领嵌入式计算未来

Altera最新发布的Agilex 3 FPGA系列吸引了行业内广泛关注,这不仅是因为其出色的硬件设计,还在于它针对嵌入式应用提供了高效的AI推理支持和安全保障

HyperAccel 借助 AMD 加速卡与 FPGA 打造全新 AI 推理服务器

HyperAccel 已经打造出一个快速、高效且低成本的推理系统,加速了基于转换器的大型语言模型( LLM )的推理

揭秘AMD EPYC处理器的独门绝技:AI推理就问还有谁!

AI生命周期包括最重要的两个部分,一个是AI训练,一个是AI推理。

揭秘AI推理芯片的未来

人工智能行业包含一个受技术进步、社会需求和监管考虑影响的动态环境

AMD Vitis AI 3.0 新功能详解

我们将向您介绍 Vitis AI 3.0 版本启用的一些新功能和增强功能

AMD/Xilinx 通过改进的 VCK5000 推理卡瞄准 Nvidia

AMD/Xilinx 发布了其 VCK5000 AI 推理卡的改进版本以及一系列直接针对 Nvidia 的 GPU 产品线的竞争性基准测试。AMD 表示,新的 VCK5000 的性能是早期版本的 3 倍,并且 TCO 是 NvidiaT4 的 2 倍。

Vitis DPU加速设计流程总结

本文对vitis设计流程进行总结

用于 AI 推理的 VCK5000 产品简介

Xilinx VCK5000 Versal 开发卡基于Xilinx 7nm VersalACAP架构构建,专为高吞吐量AI推理和高性能计算应用而设计。VCK5000具有标准化的软件开发流程,可提供比当今服务器级CPU高100倍的计算能力,并且比当今服务器级GPU更好的MLPerf推理性能,是云加速和边缘计算应用的理想开发平台。

FPGA进行AI推理方案

近期在研究FPGA进行推理时,总结了一下三种方案,目前我了解使用FPGA进行推理还是少数,不知道大家有没有做过使用FPGA进行推理的项目,欢迎交流。