大模型推理

大模型推理延迟太高?试试基于 FPGA 的 Llama 3.1 8B 推理方案

Achronix 正式推出基于 FPGA 架构的 VectorPath 815 AI 推理设备,专为低延迟场景优化 Llama 3.1 8B 模型推理。