参考源

How GPT-5, Claude, and Gemini are actually trained and served – Reiner Pope

Did a very different format with Reiner Pope – a blackboard lecture where he walks through how frontier LLMs are trained and served. It's shocking how much you can deduce about what the labs are doing from a handful of equations, public API prices, and some chalk. It’s a bit technical, but I encourage you to hang in there - it’s really worth it. There are less than a handful of people who understand the full stack of AI, from chip design to model architecture, as well as Reiner. It was a real delight to learn from him. Reiner is CEO of MatX, a new chip startup (full disclosure - I’m an angel investor). He was previously at Google, where he worked on software efficiency, compilers, and TPU architecture. Wrote up some flashcards and practice problems to help myself retain what Reiner taught. Hope it's helpful to you too! https://reiner-flashcards.vercel.app/ Download markdown of transcript here to chat with an LLM: https://gist.github.com/dwarkeshsp/79100f0fdeed69d76241903bb0604dbe 0:00:00 – How batch size affects token cost and speed 0:31:59 – How MoE models are laid out across GPU racks 0:47:02 – How pipeline parallelism spreads model layers across racks 1:03:27 – Why Ilya said, “As we now know, pipelining is not wise.” 1:18:49 – Because of RL, models may be 100x over-trained beyond Chinchilla-optimal 1:32:52 – Deducing long context memory costs from API pricing 2:03:52 – Convergent evolution between neural nets and cryptography

https://www.youtube.com/watch?v=xmkSf5IS-zw&t=18s

临时笔记

• 计算时间与 Batch Size | 激活参数 | FLOPS 有关

• IO时间与 全量参数 | Batch Size | 上下文长度 | 单token大小 | 内存带宽

• 甜品点 B 大小

• 前者约300典型值（A100 H100等） 后者为sparsity定义，以DeepSeek的moe为例 32/256 → 8 B ≥ 300 * 8

• 增大B，计算⬆️，IO均摊⬇️，在引入KV Cache后，分给总参的带宽⬇️，对应B需要进一步提高

• sparse attention下可以将上下文长度加个√

• HBM drain time = 显存大小 / 显存带宽 （每一批batch，不同用户，逐班次出发间隔）

• TPS = B / (HBM drain time) （自回归memory-bound）

• 在保持差不多质量情况下，以上图例减少4倍激活参数（减少计算），对应要在总参提高64倍，对应要求B得进一步加大，进一步均摊，对应卡显存要多

• moe过程：（expert为MLP）all to all通信（router到expert，expert parallelism），之后求和，residual

• 其中all to all通信在GPU上排布为每个GPU放一些expert → Scale Up（如NVLINK，为Rack内通信，Scale Out，为Rack间通信，约8倍slower，Scale Up为所有Rack内GPU连到Rack中的交换机，Scale Out为所有GPU连到中央交换机）

• 现象入手：23年gpt4（据传1T参数），但直到最近半年，模型参数量才有显著提升

• 1/时延倍率 * 激活专家数 * 逐stage的layer数

• 每个rack做一个layer，pipe parallelism

AI总结

1. Metadata (元数据)

• Title: Reiner Pope – The math behind how LLMs are trained and served (硬核拆解：大语言模型训练与推理背后的数学逻辑)

• Author: Dwarkesh Podcast (主理人: Dwarkesh Patel, 嘉宾: Reiner Pope，MatX CEO、前 Google TPU 核心架构师)

• URL: https://www.youtube.com/watch?v=xmkSf5IS-zw&t=18s

2. Overview (核心概览)

3. 按主题深度梳理

📦 批处理、延迟与推理经济学 (Batch Size, Latency, and Inference Economics)

• 最优的并发平衡点：随着 Batch Size 的不断增加，权重读取的成本被无限摊销，成本曲线会急速下降并逼近一个理论下界——此时系统由“内存带宽瓶颈”切换为“计算算力瓶颈”。Reiner 结合硬件的 Roofline Model（屋顶线模型）推算出，在实际部署中（考虑各种效率损耗），最经济的 Batch Size 大约是 2000 到 3000 个 Token（这里的 Token 指代的是并发推理的序列数，即同时有两三千个独立的对话在做单步解码） 。

• 慢速模式的数学错觉：很多人直觉认为，只要让用户的请求在队列里多等一会儿（进入慢速模式），系统就能攒出更大的 Batch，从而大幅降低成本。但 Reiner 毫不留情地指出了这个谬误：这种做法基本没用 ！原因在于，每个用户的对话都伴随着独一无二的 KV Cache（键值缓存）。KV Cache 的加载和相关的计算无法通过不同用户的拼车来摊销 。因此，“慢速模式”只是让请求在成本曲线的底部停留更久，却永远无法突破那条由独立缓存和计算构成的物理成本下界。

• API 涨价的节点暴漏了模型底牌：Reiner 通过观察 Gemini 的 API 定价发现了一个惊人的秘密。Gemini 在上下文长度超过 20 万 Token 时，价格突然上涨了 50% 。为什么恰好是 20 万？这标志着该模型处理该序列时，KV Cache 的内存带宽成本正式超越了权重矩阵的计算成本。通过这个 50% 的涨幅临界点，如果假设该模型激活参数约为 1000 亿，可以反推出每个 Token 的 KV 缓存大约占用 2KB 。这恰好与公开文献中关于 8 个 KV 头、维度 128 的注意力机制设计不谋而合。此外，这也解释了为什么在大多数平台上，输出 Token（Decode 阶段，受限于内存带宽）的价格总是比输入 Token（Prefill 阶段，算力密集）贵 3 到 5 倍。

🕸️ 混合专家架构与机架级通信物理瓶颈 (MoE and Rack-Level Communication)

• 完美的“专家并行”与机架拓扑：目前最主流的算力节点形态是类似 NVIDIA Blackwell NVL72 的巨型机架，一个机架内塞入了 72 块 GPU。在机架内部，所有 GPU 通过高速互联技术（如 NVLink）连接，任意两块 GPU 之间的通信最多只需要两跳（经过中间的交换机） 。面对 MoE，最直观且最高效的部署策略叫 Expert Parallelism（专家并行）：把不同的专家安置在不同的 GPU 上。推理时，任何一块 GPU 上的 Token 都可能被路由层甩给另一块 GPU 上的专家，这形成了一种极端密集的 All-to-all（全对全）通信模式。幸运的是，机架内部 NVLink 的高并发拓扑与这种通信需求堪称天作之合。

• 跨越机架的“死亡惩罚”：然而，模型尺寸一旦膨胀，事情就变了。一旦专家的总数量超出了单一机架的承载极限，就必须将模型分布在两个或更多的机架上。问题在于，一旦数据包跨出机架，进入传统的集群网络，其通信速度会瞬间暴跌，通常慢了足足 8 倍 ！

• 核心制约：如果你的 MoE 专家分布在两个机架上，根据概率，跨机架的 Token 有一半必须走那条慢 8 倍的外部网络通道，这会瞬间瘫痪整个推理流水线。因此，Reiner 得出了一个硬核结论：“一个机架的物理大小，死死限制了你能做多大的专家层。” 这正是制约当今 AI 模型规模扩展的最核心物理瓶颈。

• Google Gemini 的隐秘优势：这个物理定律也解释了为什么 Google 似乎比其他实验室更早地在超大模型上取得了预训练成功。原因不在于算法魔法，而在于网络架构。Google 的 TPU 系统长期采用 3D Torus Topology（3D 环形拓扑） ，这种设计使得 TPU 集群拥有远超单个机架的 Scale-up Domain（纵向扩展域） 。简单来说，TPU 可以在大得多的物理范围内维持高效的全对全通信，从而允许 Google 部署极其庞大、稀疏度极高的 MoE 模型，同时还能稳稳保住推理效率。

🔀 流水线并行与颠覆常理的超量训练 (Pipeline Parallelism and Over-training)

• 流水线并行的真相与气泡：Reiner 澄清了一个关键误区——流水线并行绝对不会降低模型的运行时间或计算量，它对推理延迟（Latency）的优化贡献为零 。它唯一的作用，是把一部分极端的内存压力，从一个机架平摊到了其他机架上。为了让流水线不闲置，系统必须引入 Micro-batch（微批次）机制。在单纯的推理阶段，批次可以首尾相连地无缝填满时间轴，不会产生 Pipeline Bubble（流水线气泡）。但在训练阶段（包含必须等前向传播完毕才能启动的反向传播），为了避免气泡造成昂贵的算力浪费，工程师被迫发明了 Zero Bubble 或 1F1B（One-Forward-One-Backward，一前一后）等极其复杂的交织调度策略。这也难怪 OpenAI 联合创始人 Ilya Sutskever 曾感叹：“正如我们现在所知，使用流水线是不明智的。”因为它的工程代价极大，且在推理时依然解决不了 KV Cache 的核心痛点 。

• 打破缩放定律的“超量训练”：播客中最具震撼性的推导，莫过于解释为什么当今的前沿模型都在疯狂地打破被奉为圭臬的 Chinchilla Scaling Laws（Chinchilla 缩放定律）。按照最初的定律，一个 1000 亿激活参数的最优模型，其预训练数据量大约应为 2 万亿（2 Trillion）Token。但有传闻称，GPT-5 级别的模型预训练数据量飙升到了惊人的 150 万亿到 200 万亿 Token 。两者相差了近 100 倍！

• 全生命周期经济学推演：Reiner 用一个经济学直觉解开了这个谜团：当预训练成本、RL（强化学习）训练成本和生命周期内的推理成本三者大致相等时，整体投资效率才达到最优。 他在黑板上列出这三块成本的方程式，结果发现“激活参数量”这个变量被等式两边神奇地抵消了 ！这意味着，最优的训练数据量与模型本身多大无关，只取决于它未来要面对的推理流量。
• 推算过程：假设某个前沿大模型每天的推理流量约 5000 万 Token/秒，在下一个版本发布前的 2 个月生命周期里，合计将消耗约 200 万亿 Token 的推理算力 。
• 为了在生命周期内达到经济最优，实验室砸在预训练上的算力（对应的 Token 数）也应该等同于 200 万亿。换句话说，为了让部署给亿万用户的模型尺寸更小、每次推理更便宜，AI 巨头们宁愿在训练阶段超额榨干几乎整个人类知识库 。

💾 存储介质的折叠与可逆网络密码学 (Storage Tiers and Reversible Neural Networks)

• 从闪存到机械硬盘的无奈之举：API 厂商在面对超长上下文时，重新计算一次（从原始 Token ID 头开始生成 KV 缓存）的成本极其惊人，因此他们将其存储下来。Pope 注意到，Gemini 的 API 提供了“5 分钟缓存”和“1 小时缓存”两档截然不同的折扣价。顺着带宽与延迟的成本往回算，他断定这对应了不同的物理存储介质：5 分钟档位显然是由 Flash Memory（闪存）支撑的，而 1 小时档位的低廉价格和读取延迟特征，只能指向一种古老但便宜的设备——HDD（机械硬盘） 。堂堂最前沿的 AI 集群中竟然混入了机械硬盘，连 Pope 自己推算出这个结论时都感到不可思议。

• 引入密码学的奇招：可逆网络（RevNets）：如果硬件存储到了极限，能不能从算法层面用算力来换取内存？早在 2017 年，一篇名为《Reversible Residual Networks》（RevNets，可逆残差网络）的论文就尝试了这种思路。它巧妙地借用了密码学中广泛用于对称加密的 Feistel Networks（Feistel 网络）思想 。
• 加密逻辑：已知输入 (x, y)，前向传播时通过一个任意函数 f 计算 output_y = y + f(x)，并保留 output_x = x。
• 解密（逆向）逻辑：当需要回退时，因为已知 x，可以直接重新计算 f(x)，然后用 y = output_y - f(x) 完美复原上一层的状态。这个过程在数学上是绝对可逆的，无论函数 f 内部有多么像黑盒 。

• 彻底消灭激活值内存：在传统的模型训练中，前向传播必须将每一层的 Activation Values（激活值）死死保存在 HBM 中，以便随后在反向传播时计算梯度，这构成了训练期间最大的内存开销（随层数线性暴增）。而引入 RevNets 后，网络在向前跑时不再保存任何激活值！等到需要反向传播时，系统同步地从最终状态，利用密码学的可逆原理，一层层把之前的激活值重新推算出来，这被称为 Rematerialization（重算） 。

• 哲学互逆：在这里，Reiner 点出了一个极具美感的对称性：KV Cache 的本质是用庞大的内存容量来替我们节省未来的算力计算；而 RevNets 恰恰相反，它是用额外的算力（重算前向传播）来为我们节省宝贵的内存空间。 虽然在目前的硬件成本体系下，“花内存省计算”通常更划算，但 RevNets 证明了在极端瓶颈下，反向操作同样蕴含着巨大的工程价值 。

4. 框架 & 心智模型 (Framework & Mindset)

📐 Framework 1: 算力-内存-带宽的三角博弈模型 (The Compute-Memory-Bandwidth Trilemma Framework)

• 步骤 1：精确锁定系统的物理瓶颈坐标
任何 AI 任务的执行，必然卡在三个维度之一：算力（每秒能做多少次浮点运算）、内存容量（HBM 能装下多少 TB 的参数和状态）、或者通信带宽（数据在内存与核心之间、或机架与机架之间搬运的速度）。
• 当你只处理单用户的小请求时，你处于带宽瓶颈。计算核心在绝望地等待权重被缓慢地搬运过来。
• 当模型的层数极深、参数极多时，你处于内存容量瓶颈。你的显存根本装不下所有的激活值，导致系统 OOM（内存溢出）。
• 当你跨机架调用 MoE 专家时，你处于网络带宽瓶颈。8 倍的速度惩罚会让系统骤停。

• 步骤 2：应用极限的“摊销与置换”法则
一旦锁定瓶颈，接下来的心智模型就是寻找置换方案。你需要问自己：我手头哪个资源最充裕？能不能用它去换取紧缺的资源？
• 用“延迟”换“带宽摊销”：通过增大 Batch Size 达到 2000-3000，虽然增加了单个用户的响应延迟，但极大地摊销了权重读取的带宽成本，将系统硬生生拖回“算力瓶颈”的甜蜜区。
• 用“内存容量”换“算力”：这就是 KV Cache 的精髓。面对成千上万 Token 的上下文，重新计算的算力成本是灾难性的。于是我们用庞大的 HBM，甚至不惜动用闪存和机械硬盘，把中间状态死死存住。
• 用“算力”换“内存容量”：这就是 RevNets（可逆网络）的智慧。当显存昂贵到无法承受海量激活值时，干脆前向传播完就扔掉，反向时利用密码学的对称性重算（Rematerialization）一遍。多花了电费和算力，却突破了显存天花板。

• 步骤 3：架构与物理拓扑的强制对齐
永远不要设计违背物理拓扑的算法。MoE 的全对全（All-to-all）特性，决定了它的扩展边界必须被限制在拥有 NVLink 或 Torus Topology（环形拓扑）的极速通信域内。违背这一点（例如盲目跨机架分布专家），数学上的优化会被物理网络延迟彻底反噬。

⚖️ Framework 2: 全生命周期算力经济学法则 (The Lifecycle Compute Equalization Mindset)

• 步骤 1：破除“唯训练论”，建立全局视角
传统的学术界思维（如 Chinchilla 缩放定律）关注的是：如果我手头只有这么多算力，我该如何完美分配给“模型大小”和“数据量”，才能训出指标最好的模型？但这种思维在今天已经彻底失效。在商业化的大模型时代，算力必须被划分为三个强耦合的生命周期阶段：Pre-training（预训练）、RL（强化学习/后训练）以及 Inference（推理）。

• 步骤 2：确立“推理流量”为绝对的引力中心
在这个心智模型中，推理阶段不再是训练的附属品，而是决定一切的锚点。你需要根据产品的用户体量，倒推计算出一个模型在发布周期（例如两个月内被新版本替代）内，到底要吐出多少 Token。
• Reiner 的惊人洞察在于：系统整体效率最大化的充要条件，是预训练、RL 和推理这三者的算力投入应当大致处于同一数量级。
• 这意味着，如果你预测这个模型要承受 200 万亿 Token 的海量推理调用，那么你的预训练也必须疯狂地“卷”到 200 万亿 Token 这个级别。

• 步骤 3：执行“超量训练”换取“长尾利润”的战略
在这个经济法则的指导下，巨头们会刻意做出在学术界看来极度“不划算”的事情：对模型进行极端的 Over-training（超量训练）。
• 他们会将模型的训练时长延长到计算最优解的 100 倍以上。为什么？因为在固定的预期能力下，喂给它的数据越多，你就能把模型的参数压得越小。
• 多花了几千万美金在预训练集群上“空转”看似愚蠢，但换来的是一个极其精悍、参数量极小的模型。当这个模型在随后的几个月里面对亿万用户的 200 万亿次推理时，它每一秒都在为你节省巨大的内存带宽和算力成本。这是以战略性的短期算力牺牲，换取漫长推理期的几何级利润回报。