ALINX VD100低功耗端侧大模型部署方案,运行3B模型功耗仅5W?!
judy 在 周五, 09/05/2025 - 09:43 提交
基于 ALINX VD100 开发平台,客户打造出一套面向 AI 终端的大模型部署方案,实测可支持 8B 模型运行、运行 3B 模型功耗仅 5W,推理速度达 12 tokens/s
基于 ALINX VD100 开发平台,客户打造出一套面向 AI 终端的大模型部署方案,实测可支持 8B 模型运行、运行 3B 模型功耗仅 5W,推理速度达 12 tokens/s