数据中心中的 FPGA 以及未来的机遇。
就像十多年前一样,产业界对数据中心三重混合系统的前景充满热情。大家坚信 CPU、GPU 和 FPGA 在复杂且高性能的系统中都有一席之地,因为这些设备各有千秋,而且大多数应用程序工作流中的元素都属于串行和并行处理,这些处理要么相对静态,要么一直在变化。
当代码一直在变化时,CPU 和 GPU 的可编程性就变得至关重要,许多应用程序都是用 C、C++、Java、Python、Fortran 和其他几种语言编写的,要么在硬件附近运行,要么在抽象底层硬件并即时解释的虚拟机中运行。CPU 用于串行工作,快速获得答案通常意味着在快速核心上运行,对于数值密集型且进行大量乘法和加法的算法,您可以将其卸载到 GPU,其并行处理能力通常比 CPU 高一个数量级。
FPGA 适合这种三重混合系统,其中计算或数据处理的高性能很重要,但工作负载的算法变化不大——可能每隔几年,可能每年几次——而不是像许多行业那样每天或每周发生一次。FPGA 可以比 CPU 更快地完成某些工作,但它的能效从未如此高,而且肯定不便宜,但它可以提供更好的性价比,并且对于某些类型的数据流工作来说,效果要好得多。(FPGA 是一种可塑性数据流引擎,即使它越来越多地拥有硬编码组件,如 Arm 内核、DSP 块和 SerDes 通信。)
也许更重要的是,有时您需要比用 C++ 或 Java 为 CPU 编写的算法更高的性能,但您不需要如此大批量的芯片,因此有必要制造一个完全定制的 ASIC。这种情况在电信和网络系统中一直存在。这与 FPGA(通常是 FPGA 组)上的原型设计不同,后者用于创建 ASIC 模型以便对其进行测试,这是 FPGA 的另一个重要用途。我们将其视为 ASIC 原型设计,我们上面提到的是在交换机或其他某种设备内部的生产中使用;它不是原型设计,而是通用 CPU 算法和完全定制的 ASIC 之间的中间点。
2015 年 6 月,英特尔斥资 167 亿美元收购了 Altera ,当时的想法之一就是,现在所说的 DPU 就是那种需要速度的应用程序 / 设备(这是一个任意的词),你需要为此支付额外费用,而且它在 FPGA 上的运行效果会比在通用 CPU 上更好。有人认为,三分之一的超大规模和云服务器将拥有这种总线上、系统内的 FPGA 加速器。英特尔计算了十年后的服务器出货量,发现所有这些功能都将从 CPU 上转移,最好有一种设备来吸引这些客户。
部分想法还在于,许多被卸载到 GPU 上的 HPC 和 AI 算法可以转移到 FPGA 上。当时,AMD 并没有真正提供与 Nvidia 产品线竞争的数据中心 GPU 产品,但它比英特尔要好,后者的 GPU 只用于笔记本电脑和入门级服务器芯片。尽管如此,考虑到 AMD 希望在加速计算领域拥有更多专业知识,以及它对 FPGA 浪潮的错过,AMD 想要在 2020 年 10 月收购竞争对手 FPGA 制造商 Xilinx 并不令业内人士感到惊讶,该交易于 2022 年 2 月以近 490 亿美元完成。
此后,英特尔的数据中心 GPU 业务逐渐衰落,而 AMD 终于凭借其提供的具有竞争力的硬件获得了发展。两家公司都认为 FPGA 在世界和数据中心中都有一席之地。
Sandra Rivera曾负责英特尔数据中心和人工智能业务部门,现已被任命为独立重组的 Altera 的首席执行官。
近日,Sandra Rivera谈论了数据中心中的 FPGA 以及未来的机遇——特别是考虑到超大规模计算公司和云构建者总体上并没有按照他们所说的那样将 FPGA 用于加速器和 DPU 的中央计算引擎。
以下为Sandra Rivera的一些看法:
如果你看一下英特尔收购 Altera 的论证,其中很多都是围绕数据中心和企业的机会而展开的,无论是云计算还是企业基础设施,以及通信服务提供商网络,包括无线接入网络和无线网络,还有集中式核心,也就是大量的数据中心。我想说的是,我们实际上很好地完成了我们认为可以追求的目标,以及从 IPU 插座出现的角度来看我们可以赢得的目标。越来越多的云服务提供商希望进行卸载,这样他们就可以出售 CPU 上的内核。然后,所有与存储加速或平台开销管理有关的东西,他们都想卸载。实际上,我们赢得了市场上所有可用于 FPGA 的插槽。还有几个插槽专门用于 ASIC。当然,大家对 AWS Nitro 并不陌生,但英特尔实际上还赢得了谷歌和Mount Evans 平台的另一个大单。但其他所有的 IPU 插座,Altera、PSG 和现在的 Altera 都赢了。因此,我们在这方面做得非常非常好。
从通信服务提供商的角度来看,我们在经历整个 5G 转型时也做得很好,我们从所谓的 TEM(电信设备制造商)那里赢得了许多竞标平台。我们也赢得了很多平台,不仅在欧洲和美国,而且在中国。现在,其中一些显然因出口管制而受到限制,但我们赢得了很多平台。
我们确实没有想到可以将 FPGA 与 CPU 更多地进行共同封装。例如,我认为当时我们没有意识到,在客户真正想要充分发挥两种设备的全部潜力时,你会对其中一种设备或另一种设备产生多大的限制。因此,这一价值主张从未实现,我们在头几年就放弃了这一战略。然后是另一个领域,现在我们独立了,作为一家 FPGA 公司,我们正在推动 FPGA 战略,这对我们来说非常不同,那就是中端、更低端、功耗受限、成本受限的环境和细分市场对我们推动英特尔 CPU 优先战略并不那么重要。
正如我所说,我们并没有投资建设分销网络和所有功能,当然,现在我们完全专注于参考套件,并通过我们的合作伙伴扩大产品组合的覆盖面和规模。这是因为,从英特尔战略的角度来看,它不如构成英特尔大部分收入的前 25 名客户重要。所以在这一过程中,我们显然有一些经验教训。我们做了一些调整。我们在专注的领域做得很好。我们没有投入太多时间和精力的地方做得不好。你知道,这就是我们现在要改变的事情,因为这就是我们所做的一切,我们致力于产品组合中所有用例、应用程序、细分市场和功能。
这是一个历史和解释,我们不会对此提出异议,但我们进一步要求对数据中心 FPGA 的未来给出更具体的答案,并打趣说,目前数据中心的 FPGA 机会比我们十年前想象的要少,但并不比过去几年少。
这是一个巨大的机会。事实上,在市场这一部分,保持对数据中心的关注非常重要,当然也包括与云服务提供商和通信服务提供商的关注,因为技术转型发生在那里。因此,这就是获得新内存技术的地方。这就是 PCI-Express Gen 6.0 和 7.0 首先出现的地方。这就是人工智能推动如此多创新的地方。这就是您需要更多网络和收发器功能的地方。这就是您需要像 UCI-Express 和 CXL 功能这样的互连的地方,特别是,我们最近在测试和测量方面取得了很多胜利。他们首先需要这些,因为当这些设备从产品开发组织中出来时,您需要能够测试它们。因此,测试和测量行业通常处于领先地位。
但您还会看到,其中一些 IPU 插槽或一些 AI NIC 最终会转向 ASIC,因为数量非常多,可以跨越交叉点。考虑到 ASIC 的开发成本,特别是在新工艺技术以及封装和工艺节点的复杂性方面,对于少数拥有这种能力的客户和少数公司来说,情况可能确实如此,但总会有新的设备更新转向 ASIC。我们在 FPGA 中追求的其他机会是什么?它始终是您进行试验和试点的地方,而在其他情况下,就何时可以提出转向 ASIC 的商业案例而言,它更具临时性。”
Rivera 面临的任务十分艰巨,但必须有人去做。需要记住的是,Altera 和 Xilinx 在可编程逻辑器件领域相互竞争的历史由来已久。以下是两家公司的业务路线图:
Agilex 3 是一款小型 FPGA,配备一对 Arm Cortex-A55 内核和 25,000 到 135,000 个可编程逻辑容量的查找表 (LUT)。Agilex 3 最终可能会用于某些数据中心设备,但它们真正针对的是需要一些 AI 加速和辅助计算的边缘、视觉处理和工厂自动化工作负载。重要的是,Agilex 3 设备的性能是它们所取代的相对较旧的 Cyclone V 设备的 1.8 倍。
这对数据中心人群来说可能并不令人兴奋,但 FPGA 板的分销商占 Altera 单位销量的 80%,收入的 50%,随着重组后的 Altera 重新与渠道建立联系,这款产品正直面向他们,因此旨在让 Altera 业务重回正轨。就像 PC 芯片为英特尔进军数据中心支付了费用一样,Agilex 3 可以创造收入和利润,使 Altera 能够投资于数据中心客户可能选择的 FPGA 设备,用于不太适合 CPU 和 GPU 的工作负载(或其中的一部分)。
长期以来,我们都认为英特尔将积极推动 FPGA 进入数据中心,并成为预配置 FPGA“软件”的创造者和销售商,这些软件将在其 PAC(PCI-Express 加速卡的缩写)上销售。Rivera 阻止了 Altera 制造和销售卡,并将此事留给其合作伙伴渠道。
FPGA 的优势和阻碍大规模迁移到 ASIC 的因素是每个工艺节点的开发成本不断增加,她以中国台湾半导体制造公司为例,很有趣:28 纳米器件 4000 万美元,14 纳米器件 1 亿美元,N7 器件 3 亿至 4 亿美元,N3 器件 6 亿美元,N2 器件 8 亿美元。这意味着,能够负担得起开发定制 ASIC 的批量交叉绝对是巨大的。虽然 Rivera 承认 FPGA 不会取代 GPU 进行大规模 AI 训练——而且也没人想到这一点——但 FPGA 在 AI 训练的预处理和后处理、AI 推理、6G 无线平台和安全处理方面都有很大的机会。
这可能远没有我们许多人想象的那么激动人心,但这是事实。英特尔试图在 2026 年左右让 Altera 上市,筹集资金以支持其代工业务。