唐杰老师：关于 Scaling Law 的思考

扩展，但不仅仅是参数的扩展。 如今每一次模型发布都以同一个问题收尾：参数量是多少？这个问题无法孤立地回答。参数数量只有与另外三个因素放在一起才有意义——你有多少数据、你打算把算力花在哪里、谁将在什么条件下运行这个模型。
这个领域是以惨痛的方式学到这一点的。Kaplan 等人（2020）拟合出的指数告诉大家，参数的增长应快于数据的增长——大致为 2.7:1——业界照做了：GPT-3、Gopher、MT-NLG。Hoffmann 等人（2022）用四百个模型重做实验，发现计算最优的比例更接近每个参数 20 个 token，而且在算力充足时，两者应当以相同速率增长，而不是渐行渐远。早期拟合中的误差会随着算力每提升一个数量级而不断放大，这正是那一代最大的模型反而是资源错配最严重的原因。回过头看，那场万亿参数的竞赛，是整个领域集体走的一段弯路，然后又集体折返。
Chinchilla 也不是终点。它优化的是"训练一次、评测一次"的模型的训练算力。而今天，一个模型每天被调用数十亿次，推理主导了其全生命周期成本。一旦把推理纳入目标函数，最优点就会移向更小的模型、训练得久得多的模型——也就是刻意"过度训练"，Llama-2-7B 和 Gemma-2-9B 所做的正是这个，token/参数比分别约为 290 和 889。
稀疏性再次移动了靶子。在 MoE 模型中，两个量必须分开看：总参数大致决定模型能容纳多少东西——知识、事实、长尾；而激活参数与有效深度大致决定它能思考多远、能把多少步因果推理链维持下去而不散架。稠密模型的 20:1 比例在这里并不适用。而且这个比例根本就不是一个单一的数字：Roberts 等人（2025）发现，最优的 token/参数比是任务相关的——记忆类任务偏好更多参数，推理类任务偏好更多数据。关于 MoE 的后续研究也观察到：在 token/参数比固定时，推高总参数反而会损害推理能力，而激活更多专家则能稳定地带来帮助。
这对我们正在构建的目标很重要。发现一个漏洞不是检索问题。它并不来自记住了更多 CVE，而是来自把一条二十步的推理链完整走到头而不丢线头。这种能力并不栖息于总参数数量之中。
这就引出了本次发布。总参数似乎在达到某个阈值之前是重要的——足以装下整个世界——此后，额外的能力来自在别处扩展：每次前向传播的有效深度，以及最重要的，后训练。GLM-5.3 就是我们对这一主张所做的对照实验。与 GLM-5.2 相同的基座、相同的架构、相同的总参数与激活参数。用一个月时间扩展长程环境与强化学习。带来的提升并非微不足道。是的，扩展不止一个旋钮。这一次我们转动后训练这个旋钮，是因为它剩余的余量最大——而不是因为其他旋钮已经拧到头了。基座模型规模、预训练数据、每次前向传播的算力：这些都还在桌面上，我们会逐一回来处理。这次实验教会我们的是：这些旋钮不必一起转动，而下一个值得转动的旋钮，往往不是上一个值得转动的那个。我们的扩展还没有结束。下一次，也许是中期训练、预训练，甚至更多。#How I AI#