HyperAccel 借助 AMD 加速卡与 FPGA 打造全新 AI 推理服务器
judy 在 周四, 06/13/2024 - 17:35 提交
HyperAccel 已经打造出一个快速、高效且低成本的推理系统，加速了基于转换器的大型语言模型（ LLM ）的推理
LLM是“Large Language Model”（大语言模型）的简称。大语言模型是指通过大量文本数据训练的人工智能模型，能够理解和生成自然语言文本。这类模型通常包含数十亿甚至数万亿个参数，能够在各种语言处理任务中表现出色，如翻译、文本生成、问答系统等。
