当 Infra 团队开始替模型团队做决定：从 SemiAnalysis 炮轰 Meta 说起
从 SemiAnalysis 对 Meta 基础设施团队的批评出发，梳理四个硬件与组织决策案例及其共同问题。
1. 写在前面
SemiAnalysis 最近发表了一篇火药味十足的文章——《Meta’s Infrastructure Team Needs A Culture Reset》。这不是泛泛而谈的”大公司病”批判，而是拿着四个具体案例逐个解剖：Rivos 收购、Grand Teton 服务器、Ariel 定制机柜，以及仍在进行中的 MI450 定制版。
其中后三个案例指向同一个模式：Infra 团队按照自己熟悉的推荐系统（RecSys）经验推导设计需求，而真正要用这些硬件打仗的 GenAI 团队缺乏发言权。 Rivos 案例暴露的则是另一类问题——收购后的组织整合失败。
两条线合在一起，都指向 Meta Infra 组织文化的深层缺陷：钱花得比对手多，拿到手的基础设施却比对手差。
在 AI 基建动辄千亿美元投入的今天，这的每个故事都值行做 Infra 的人仔细学习。本文把 Semi 原文中列举的 4 个案例逐一整理复述，供大家参考。
Semi 最近的文章有些时候感觉越来越不“技术客观”了，这篇文章举的几个例子虽然也有些参考价值，但有的感觉也是为了喷而喷，大家仅作参考吧。
2. 案例一：Rivos 收购——25 亿美元买了个”人头池”
Rivos 是一家面向数据中心的 RISC-V 芯片公司，拥有 CPU、数据并行加速器及配套软件能力。
其投资方披露，Rivos 不仅完成了高性能处理器流片，还构建了面向既有 AI 软件生态的兼容栈；Meta 收购 Rivos 这一事实也已获得公开确认。Walden Catalyst 对这笔交易的回顾显示，双方在收购前已经存在较深的客户与设计合作。
按照 SemiAnalysis 的说法，Meta 为此支付了超过 25 亿美元。技术动机之一，是 Rivos 拥有更接近 NVIDIA GPU 编程模型的 SIMT core IP，而 Meta 既有 MTIA 路线更偏 SIMD；另一项潜在价值，则是获得自行管理芯片制造与测试的 COT 能力。
这些理由单独拿出来都说得通。
问题在于，收购完成后，原计划采用 Rivos GPU IP 的 Olympus 项目被取消，原因包括系统与封装方案过于激进、软件远未就绪等；新的 Phoebe 项目则被推迟到 2028 年流片。与此同时，SemiAnalysis 还称 Rivos 团队被拆散进入不同组织，部分人员随后离职或被裁。
这就像花大价钱买下一支完整的 F1 车队，进门后先把车手、空气动力学和维修团队分给三个事业部，然后问大家为什么还没拿冠军。
结局是可以预期的：约 30% 随收购加入的 Rivos 工程师在近期裁员中被解雇，联合创始人 Mark Hayter 已离职，一批前 Rivos 员工在 5 月首批 RSU 归属后跳去了 Gerard Williams 的新创公司 Nuvacore。文章甚至推测 CEO Puneet Kumar 也在等股份完全归属后走人。
Rivos 案例暴露的不是”技术买错了”，而是更基础的组织问题：对芯片项目来说，IP 只是入场券。 如果收购方没有稳定的软件栈、封装与系统方案，没有一个能跨越数年周期的明确整合 owner，就谈不上真正准备好接纳一个完整团队——买回来的不是能力，而是一堆正在加速流失的技术期权。
顺带一提，文章还指出了一个成本对比：收购给 Meta 带来的 COT（customer-owned tooling，绕过 Broadcom 自己管理芯片制造测试）能力，从零组建一个团队一年大概 1 亿美元量级。为这个能力付 25 亿美元，账怎么算都不对。
3. 案例二：Grand Teton——为一个不存在的需求，加了一整个 switch tray
Meta 的 H100 服务器 Grand Teton（已贡献给 OCP），和标准 HGX 服务器最大的区别是多了一个 switch tray：4 颗 Broadcom PCIe switch、16 块 SSD、8 个 NIC。目的是提供额外的 PCIe lanes，让每台服务器能多塞 8 块 SSD。
问题在于两点：
第一，SemiAnalysis 认为这个需求是 Infra 团队”推导”出来的，而非模型团队提出的。 Infra 认为训练 checkpoint 需要更多本地存储。结果实际生产中，模型团队对这些存储的使用远低于预期，这个设计最终被取消。这是教科书级别的”缺乏软硬件协同设计”——你辛辛苦苦给用户加了个大冰箱，结果人家根本不做饭。
第二，技术上其实有更优解。 NVIDIA 在 Hopper 这代已经通过 ConnectX-7 NIC 集成了 PCIe switching 功能，实际上”设计掉了”独立 PCIe switch 的必要性。基于 Sapphire Rapids 的 80 条 PCIe lanes，完全可以设计出不需要额外 switch tray、还能挂 8 块 E1.S SSD 的方案。
Meta 给出的其他理由——便于维护、保留使用非 NVIDIA NIC 的灵活性、减少对 NVIDIA 网络业务的依赖——听起来都挺有道理，但架不住现实检验：Broadcom switch 反正也没法自行维护，软件栈又深度依赖 NVIDIA 版本的 RoCE，换 NIC 供应商从来就不现实。最终结果是：BOM 更贵、功耗更高、集成更复杂、TCO 更差，NVIDIA 的网卡依赖一点没减，还额外多了对 Broadcom 的依赖。
这个例子感觉就有点为黑而黑了，基于个人记忆要为 Grand Teton 喊喊冤。
Grand Teton 应该是 2022 年 10 月 OCP Summit 上发布的，正式立项时间应该更早（2021 年左右），那时 LLM 的浪潮完全还没到来，Meta 的核心负载确实是 RecSys 和常规 AI 训练的年代。
用”LLM 团队的 checkpoint 存储用量低于预期”去批评一个 LLM 时代之前定型的设计，本质上是用 2024 年的需求考卷去批改 2021 年的设计答卷。
4. 案例三：Ariel NVL36x2——全球唯一客户的”定制款”
到了 Blackwell 这代，故事升级了。Meta 定制了名为 Ariel 的 GB200 Catalina 机柜：标准 GB200 是 2 颗 B200 GPU 配 1 颗 Grace CPU，Ariel 改成 1:1——实现方式简单粗暴，就是在标准 Bianca 计算板上少焊一颗 GPU。
Meta 是这个 SKU 全球唯一的客户。 动机还是那个熟悉的执念：RecSys 需要更高的 CPU:GPU 配比，embedding tables 需要大量 CPU-bound 处理，Grace 的 LPDDR 内存正好存放那些小规模、分散读取的 embedding 数据。
从 RecSys 的视角看，这个逻辑自洽。但代价呢：
- 单机架只有 36 颗 GPU，要凑齐 72 GPU 的 scale-up world size，就必须走 NVL36x2 双机架方案，跨机架 ACC 电缆连接 switch tray——交换机数量翻倍，还多一跳延迟。
- 按 SemiAnalysis 测算，Ariel NVL36x2 的 TCO 比标准 GB200 NVL72 高出 14%，而多花的钱买的是 LLM 团队根本用不上的 CPU 和 DRAM。
- 更讽刺的是可靠性判断也押错了。Meta 当初担心 NVL72 单机架铜背板不稳定，赌 36x2 更稳。结果背板技术快速成熟，跨机架布线反而成了问题源头。36x2 这个形态在 GB300 一代被业界整体放弃。
最痛的一点：Meta 的整个 GB200 机群都是这个 Ariel SKU。 也就是说，在 GB200 作为 GenAI 旗舰系统的窗口期，Meta 的 LLM 团队拿到的是一套比竞争对手标准配置更差、还更贵的系统。
文章估算这个决策让 Meta 付出了数十亿美元的代价。到了 GB300，Meta 老老实实买了标准配置，不再搞什么私人定制——学费交完了，教训也买到了。
5. 案例四：MI450 定制版——历史正在重演（进行时）
如果说前三个是”往事”，第四个案例就是正在发生的事，也是文章火力最猛的部分。
AMD 在 2026 Q1 财报电话会上确认为 Meta 提供基于 MI450 的定制 GPU。这个定制版是完整 MI450X 的”半血版”：每个封装的 compute die 数量和 HBM 堆叠数量减半，HBM4 从 12-Hi 降级到 8-Hi。目的还是老一套——为 RecSys 拉高 CPU:GPU 计算配比。
要知道，MI450 按文章的说法会是市场上制程最先进的 GPU：2nm、hybrid bonding、12 stacks HBM、最大的 CoWoS reticle size。Meta 选择把这个工程奇迹砍半——文章的用词是”blunts the proposition completely”。
关键的组织问题在于：这个决定是在 TBD Lab（Meta 的前沿模型实验室）成立之前、或者说有机会发表意见之前就拍板的。 面对 compute 和 HBM 都严重缩水的系统，TBD Lab 毫无兴趣，对外部算力客户也没有吸引力。
文章预判：如果只有半血版可选，TBD 会毫不犹豫地倒向 NVIDIA 的 Rubin，这将直接重创 AMD 在 Meta 的出货量。SemiAnalysis 在文章中甚至罕见地公开喊话 AMD：绕过 Infra 团队，直接去跟 TBD 谈标准版 MI450。
扎克伯格明明下过指令——系统设计必须服务整个业务，既支持 GenAI 也支持 RecSys。但从执行结果看，“整个业务”在实践中被翻译成了”RecSys 优先”。文章对此的评价很简洁：So much for Zuckerberg’s edict. 🤷
6. 插一句：DSF 网络不算翻车，但暴露了同一种本能
文章还花了不少篇幅讲 Meta 的 DSF（Disaggregated Scheduled Fabric）网络架构——DSF 基于 Broadcom Jericho3-AI 和 Ramon3 交换芯片，并运行 Meta 的 FBOSS/OCP-SAI 软件栈。用 VOQ + cell-spraying + credit scheduler 在 fabric 层解决 RoCE 的拥塞问题。
公允地说，Semi 作者认为 DSF 不算失误：在 2024 年 NIC 还不够智能的时点，这是可用的最佳答案；后来 NIC 厂商把 RoCE 拥塞处理直接做进硅片，更便宜的 NSF（基于 Tomahawk 5 浅缓冲交换机）路线胜出，Meta 也果断转向了——按建模 DSF 比 NSF 贵约 11%，且被单一供应商锁定。
但这个案例依然照出了同一种组织本能：不惜代价追求技术上的 best-in-class —— 问题在于，best-in-class 的定义一年之后就变了。
对比之下，Amazon / OCI / GCP 均选择了坚持使用 Tomahawk 系列芯片，走开放以太网路线。—— 这在那个时间点也许显得更保守，但对长周期的基础设施层而言，更保守的路线在行业转向时受到的冲击会小得多。有时候，“最先进”和”最合适”之间隔着一整个折旧周期。
作为正面对照，可以看看阿里云 HPN 网络架构的决策过程。
2022 年底 GPT 刚出圈、行业还在争论 IB 与 RoCE 孰优孰劣时，阿里云网络团队的做法恰好是 Semi 给 Meta 开的药方：与模型及产品团队紧密协作，从当时 LLM 训练负载的实际特征出发，判断带宽、集群规模、稳定性才是 TOP 需求，据此选定 RoCE + 白盒自研交换机路线（相关设计后来发表于 SIGCOMM’24 的 HPN 论文）。这条路线在为公司节约大量成本的同时，也支撑了 HPN 系列智算络架构在随后几年的稳定演进以及持续领先。
这里想强调的不是”谁更强”，而是：同样面对技术路线的高度不确定性，让真正消费基础设施的团队参与决策，结论会更经得起后续需求演进的检验。
7. Semi 总结 Meta 的病根：不是技术问题，是文化问题
把四个案例摆在一起看，模式高度一致：每一个决策，在某个团队优化的某个狭窄指标上都说得通；但对公司整体而言，每一个都是糟糕的选择。 Semi 文章归纳的病因如下：
- 六个月绩效周期 + 末位淘汰。 Meta 的半年绩效周期和强制校准机制可能强化短期行为，员工自然优化短期胜利而非长期战略。于是出现了”window washing”——推动能快速交付的高可见度项目，交付完立刻转向或放弃。Infra 恰恰是最吃长期主义的领域，用短周期考核去驱动长周期资产建设，方向盘和油门装反了。
- 供应链没有话语权，决策被政治驱动。 供应链团队对工程团队几乎没有制衡，技术决策变成了部门博弈的产物。频繁的 design win 取消也让供应商失去信心，一些供应商已经更愿意把资源优先给 Amazon 和 Google 的设计。
- 财务纪律缺失。 AI 预算巨大，管理者创建项目和 headcount 去”填满”预算、证明预算的合理性。文章直接点名：这和 Reality Labs 烧掉数十亿美元后被连年裁员的剧本如出一辙。
- 没人挑战领导层。 错误决策得不到纠正，等发现时已经是整个 GB200 机群的量级。
8. 最后：Infra 不是模型团队的订单部门，但也不能替模型团队定义需求
Infrastructure 是典型的重投资、长周期领域。一个机柜从需求冻结到规模部署往往需要一到两年，一颗定制芯片从架构设计到量产可能需要三到四年，并且一旦部署下去，半年~一年内很难做大的调整。 而模型架构、训练方法和推理负载在半年内就可能发生明显变化。
但这种时间尺度错配并不意味着 Infra 不应该预测需求——恰恰相反，预测未来本来就是 Infra 的职责。真正危险的是：预测只来自 Infra 自己熟悉的历史负载，并被直接固化成整个公司的统一硬件配置，却没有设置模型团队验证、跨场景评审和退出机制。
更合理的决策关系应该是：对定制芯片、定制机柜和专用 fabric，还应设置比标准产品更高的立项门槛：不仅要证明它在某个局部指标上更好，还要证明其收益足以覆盖软件适配、供应商锁定、可靠性爬坡、需求变化和丧失行业规模效应的成本。
所以，SemiAnalysis 对 Meta 的批评即使并非每个案例都完全成立，仍然指出了一个重要问题：AI Infra 的目标不是交付最有技术辨识度的系统，而是在模型快速变化的前提下，持续交付最多的有效训练进展和最低的单位推理成本。
9. 附：术语表
| 术语 | 释义 |
|---|---|
| MSL (Meta Superintelligence Labs) | Meta 超级智能实验室，汇聚其前沿 AI 研究人员 |
| TBD Lab | Meta 内部的前沿模型实验室，是 GenAI 基础设施的核心用户 |
| RecSys (Recommendation System) | 推荐系统，Meta 广告与信息流的核心业务负载，特征是需要大量 CPU 处理与 embedding table 存取 |
| Embedding Table | 存储用户、广告、内容向量表征的大规模查找表，读取模式为小规模、分散访问 |
| MTIA | Meta 自研 AI 加速器，采用 SIMD 架构 |
| SIMD / SIMT | 两种并行计算架构。SIMT（NVIDIA GPU 采用）在可编程性上更灵活 |
| COT (Customer-Owned Tooling) | 客户自有工具模式，即客户绕过 Broadcom 等设计伙伴，自行管理芯片制造与测试流程 |
| HGX | NVIDIA 的标准 8-GPU 服务器基板平台 |
| OCP (Open Compute Project) | 开放计算项目，超大规模厂商共享硬件设计的开源社区 |
| GB200 / GB300 NVL72 | NVIDIA Grace CPU + Blackwell GPU 的机架级系统，72 颗 GPU 通过 NVLink 铜背板互联于单机架 |
| NVL36x2 | 将 72 GPU 域拆为两个 36 GPU 机架、通过跨机架电缆互联的配置，已在 GB300 一代被放弃 |
| TCO (Total Cost of Ownership) | 总拥有成本，涵盖采购、功耗、运维的全生命周期成本 |
| HBM / 8-Hi / 12-Hi | 高带宽内存；8-Hi/12-Hi 指 DRAM die 的堆叠层数，层数越多容量越大 |
| CoWoS | 台积电的 2.5D 先进封装技术，reticle size 决定单封装可集成的硅片面积上限 |
| RoCE (RDMA over Converged Ethernet) | 在以太网上实现 RDMA 的协议，对丢包高度敏感，需要拥塞控制配合 |
| DSF (Disaggregated Scheduled Fabric) | Meta 的调度式网络架构，基于 VOQ、cell-spraying 与 credit 调度，在 fabric 层解决拥塞 |
| NSF (Non-Scheduled Fabric) | 非调度网络架构，依赖智能 NIC 处理拥塞，可用 Tomahawk 5 等商用浅缓冲交换芯片，成本更低、供应商更多元 |
| VOQ (Virtual Output Queuing) | 虚拟输出队列，为每个入口按出口分配独立队列，避免队头阻塞 |
| Cell-Spraying | 将数据包切分为固定大小信元、喷洒到多条链路的负载均衡机制 |
| Jericho3-AI / Ramon3 / Tomahawk 5 | Broadcom 的交换芯片。前两者为深缓冲调度式方案，Tomahawk 5 为浅缓冲通用方案 |
| FBOSS | Meta 自研的网络操作系统（Facebook Open Switching System） |
| Elephant Flow | 大象流，AI 训练中持续时间长、流量大的数据流，易造成链路拥塞 |
| Window Washing | Meta 内部俚语，指为绩效考核推动高可见度速成项目、交付后即弃的行为 |