作者：潘伟涛，文章来源：网络交换FPGA
8 月 18 日，半导体行业观察发了一篇 Meta 首颗训练芯片 MTIA 300 的架构解读。我那天上午正在改一份材料，读到一半停下来，把三个数字抄在了材料的空白处：三分之一，2.8，800。
这颗芯片最反直觉的地方在于：所有人聊 AI 芯片都先聊算力，Meta 却把大把的面积和功耗花在了"不算数"的地方——12 块 RDMA 网卡直接塞进封装，另外划出 16 个专用引擎，只干搬数据和求和这两件事。峰值 FLOPS 反而是被刻意压低的那一项。
为什么一家不缺钱的公司会这么花钱？这篇想先把这三笔钱拆开看看买了什么，再聊一个对我们这种团队更实际的问题：这些收益，一定要流片才拿得到吗？
先看 Meta 把钱花在了哪
MTIA 300 是为深度学习推荐模型（DLRM）训练设计的。这类负载有个特点：浮点运算量不算大，但要巨大的内存容量、很高的网络带宽，还有没完没了的集体通信。用通用 GPU 跑，计算单元大部分时间在等数据，利用率上不去。
Meta 的解法是三笔投资。第一笔，把 12 个 800 Gbps 的 RDMA 网卡做成两颗芯粒，直接封装进芯片，加速器和网卡之间那一跳 PCIe 就没有了。1.2 TB/s 的 I/O 如果还靠主机 CPU 管理工作队列，光提交和完成处理就能把主机核心吃光，所以这些活也一并卸给了硬件。
第二笔是 16 个消息引擎。它们只占计算引擎约三分之一的芯片面积，却能提供相当的归约吞吐，而且被布置在计算网格的边缘，紧贴 HBM、缓存和 I/O 口——集体通信的大流量不再穿过计算阵列的片上网络。
第三笔叫近内存计算：一个专门做求和的模块，归约能力 2.8 TB/s，是 I/O 带宽的两倍还多。AllReduce、ReduceScatter 这些操作全走这条路，一个计算核都不占。
效果是实打实的。生产环境的 DLRM 训练里，每次迭代要跑 35 次 AllToAllv，消息尺寸从 1 KB 横跨到 1 GB；Meta 给出的数字是，MTIA 300 的通信性能达到 H100 的 3.9 倍。更有意思的是并发测试：计算和集体通信同时跑，MTIA 300 两边的效率几乎都不掉，H100 则因为流式多处理器被两头争抢，性能明显下滑。
三笔钱，买的其实是同一件事
拆完账会发现，这三笔投资指向同一组设计判断：把集体通信从计算引擎里剥离出来，让归约贴着数据发生，让数据路径绕开主机和 PCIe。
打个比方，工厂里最值钱的改造往往不是买更快的机床，而是把物流从生产线上挪出去，单独修一条不占车间的传送带。机床还是那些机床，产量却上去了，因为它们不用再停下来搬料。
这三条判断没有哪一条写着"必须在一个封装里实现"。
图1 分解映射
MTIA 300 封装内的三层设计，和 FPGA 集群上的对应物。架构关系是同一组，实现代价差着数量级。
这条路的价签，Meta 自己写出来了
MTIA 300 的计算 die 做到了光罩尺寸的极限，2.5D CoWoS 封装，液冷，热设计功耗是上一代的十倍。研发从数年前启动，对标对象是 H100 和 H200——也就是说，芯片的架构决策要提前好几年冻结。
冻结的代价，Meta 在文章里没有藏。MX4、NVFP4 这类块缩放的新精度格式冒出来时，MTIA 300 没有原生支持，只能回退到 RISC-V 核软件执行，要等下一代 MTIA 400 才补上。软件回退的代价有多大，生产里已经演过一次：模型默认开启的逐行 FP8 量化通信，因为量化操作依赖低效的 RISC-V 执行，被干脆禁用了，靠富余的网络带宽硬扛，反而换来 4.4% 的性能提升。机箱层面，Meta 还专门设计了分离的计算刀片和网络刀片，原文说得很直白，这是为了"弥补芯片开发流程的不足——芯片开发需要提前很久做出决策"。
数年周期、光罩级 die、先进封装，这条路只有超大规模厂商走得起。那高校课题组和中小团队，就只能围观吗？
没有流片预算，能不能把这套架构"借"过来
我们的答案可以概括成六个字：集群即大芯片。
既然那三条设计判断不依赖封装，就可以把它们拆开，映射到一柜子 FPGA 上：HBM FPGA 板卡对应它的计算阵列和近存带宽；可编程交换机的在网归约和多播，对应它的消息引擎加近内存计算；FPGA 的双 100G RDMA 端点，对应它的封装内网卡，数据通路同样不经过宿主机的软件栈。
我们给集群里的这些角色起了一组名字。观察是这样的：大模型推理集群里，token 从请求入口一路流到存储，沿途每一件传统网络设备都在长出一个"认识 token"的新形态。端点上的传输网卡不再只管搬字节，还要认识 KV 状态，管它的放置、驱逐和跨节点共享，我们叫它"token 网卡"，业界对应 BlueField-4 这类推理 DPU，MTIA 300 把网卡直接封进芯片算是它的极致形态。交换机的数据面不再只按地址转发，而要认识 MoE 的专家路由：查一张与模型结构同构的专家放置表，按门控结果做多播，在网内顺手完成 combine 归约，出了故障还能回退到端点方案，这是"token 交换机"，也是我们本期建设的重点。再往集群入口走，还有"token 路由器"：按"哪台机器缓存着这段对话的前缀、哪台解码负载轻"来分发请求，业界对应 NVIDIA Dynamo 的 KV Router。名字取得直白，背后的判断也直白：token 是这张网络里的原生报文，设备应当围着它来设计。
图0 token原生的FPGA集群
全文的核心一张图：token 从入口进来，经 token 路由器分发、token 网卡上网、token 交换机查表多播，各节点算完再由交换机在网归约送回。底部一行是它与 MTIA 300 类大芯片的架构对应关系。
先把丑话说完：集群的绝对带宽和集成度比单封装 ASIC 差一到两个数量级，性能对标想都别想，我们要复现的只是架构关系。但这一层复现，能换回来三样 ASIC 给不了的东西。
一是可修改。数据面逻辑按周迭代，新精度格式、新路由语义进硬件不用等下一代芯片，MX4 那个病在这里没有生存土壤。二是可定制。表容量、归约位宽、网络拓扑全是参数，换一族模型负载就重构一次。三是可对照，这条最值钱：归约这件事放在端点里做（MTIA 的选择）还是放在网络里做（交换机的选择），谁优谁劣、差多少，在封闭 ASIC 上永远做不了同负载对比实验——在可重构的集群上，切个位流就行。
免流片做架构研究，学术界去年就有个漂亮的示范。EPFL 的团队发了一篇叫 SystolicAttention 的工作，先给两颗商用芯片算了笔账：AWS NeuronCore-v2 跑 FlashAttention 时，脉动阵列只活跃 45% 的时间，标量单元却忙了 80%，理论算力利用率只剩 25%。病根和 Meta 看到的是同一类：矩阵乘归阵列、softmax 归向量单元这种粗糙分工，逼着中间结果在两边之间反复搬运。他们的解法也顺着同一条命题走，给脉动阵列加了一条向上的数据通路和一排比较器，把 softmax 整个塞回阵列里就地算，让归约贴着数据发生。利用率做到了 NeuronCore-v2 的 1.77 倍、TPUv5e 的 4.83 倍，面积只多付 12%。这套结论全部来自可综合 RTL、周期精确仿真和 16 nm 综合，工具链里那块"真机"是一张 Alveo U55C FPGA 加速卡，从头到尾没有流一颗片。
这篇论文里还有个很诚实的细节：他们手头最大的 FPGA 也装不下 128×128 的完整阵列，模型级精度评估只好回退到软件模拟。单芯片尺度的架构问题，RTL 加仿真还兜得住；到了通信和网络的尺度，拥塞、多打一、归约吞吐和链路带宽的配比，仿真的可信度就撑不起结论了，得有真实的链路和真实的流量。这也是我们非要把集群平台搭起来的原因。
这个方法论，我们在单板上验过一次
"集群即大芯片"听着像口号，所以得交代它的来路：它是从一块板子上的教训里长出来的。
前几天，我们把 Qwen2.5-1.5B 整个模型塞进了一块 ZU19SN，所有算子都在可编程逻辑里跑，1.2 GB 权重放板载 DDR。做长上下文的稀疏注意力时，算法上选页选得很省，字节账面很好看，板子却快不了多少。那阵子挺沮丧的，能想到的算法优化都用了一遍。
后来把性能计数器全部铺开，才发现账算错了地方。16K 上下文下，总读取字节只降了 25.71%，但 DDR 地址事务降了 88.83%，关键读取窗口缩短了 86.93%，吞吐 7.31 倍的提升，大头来自后面两项。字节省得再多，如果落不成存储控制器看得见的、规整的物理事务，收益就兑现不了。
图2 加速账本
单板上的账本：字节类指标和事务类指标，对吞吐的贡献完全不是一个量级。
把这个教训换到集群上，只需要改两个词。集群上要伺候的主角是 MoE（混合专家）模型：这类模型不再让每个 token 动用全部参数，而是每层只挑少数几个专家子网络来算，比如开源的 Kimi K3，每层每个 token 要选中 16 个专家，而这些专家分散在集群各节点的内存里。于是单板上那句话就变成：每个 token 的逻辑路由决策，必须落实为交换机看得见的、数量可预测的物理报文。如果各节点各自为政地发消息，通信量的失控方式，和我们在这项单板工作里量过的选页并集膨胀（平均 1.626 倍）如出一辙。单板的病，集群会原样再生一遍，药方也是同一张。
回到题目：到底能，还是不能
看验的是哪一层。时序收不收敛、功耗压不压得住、先进封装的良率怎么样，这些物理实现层的问题，FPGA 集群帮不上忙，该流片验证的还得流片。但再往上一层，MTIA 300 真正值钱的那些架构决策——通信要不要从计算里剥离、归约放在哪里、数据路径绕不绕开主机、用三分之一面积换归约吞吐划不划算——本质上都是"关系"和"配比"问题，不依赖工艺节点。这一层，集群不但验得了，还能干 ASIC 干不了的活：同一负载下切换卸载位置做对照，逐跳测量每一微秒延迟花在了哪一段。
更进一步的问题是，能不能做成一种通用的验证集群，而不是一个项目搭一套、用完就拆。我们的看法是，关键在于把会变的东西全部参数化：计算端点可以换板卡，网络数据面可以重写逻辑，测量设施独立于被测对象。单芯片世界已经有了 Chipyard、Gemmini 这样的开源生成器生态，前面提到的 SystolicAttention 就是在这套生态上长出来的；集群尺度还缺一个对应物。谁把"集群级的生成器加测量基建"做出来，谁就给所有想做 MTIA 类大芯片的团队递上了一条降险路径：先在集群上把消息引擎的语义、归约与带宽的配比、卸载的位置调对，再决定把什么固化进硅片。这样的平台不只用来验证，它本身就是定制开发的起点。
我们正在朝这个方向搭自己的实验平台。不在这里许愿任何性能指标，平台上做出来的每个数字，都会连同测量口径一起公开。
Meta 用几年流片周期换来了那三条架构判断的收益。我们想验证的是另一件事：对没有流片预算的团队来说，最值钱的能力不是把芯片造出来，而是把大芯片里的设计问题，变成手边就能开工的实验。
所以题目那个问题，我们的答案是：架构这一层，能，而且值得。你的答案呢？评论区聊。觉得这个思路有点意思的话，转发给你身边做体系结构或者做芯片的朋友。
参考文献
[1] 半导体行业观察.《Meta首颗训练芯片，正式亮相》. 微信公众号文章, 2026-08-18.
[2] J. Lin, Y. Li, G. Chen, T. Bourgeat. SystolicAttention: Fusing FlashAttention within a Single Systolic Array. arXiv:2507.11331.