有人把 OpenAI Astra 的训练账摊开算了。
线索都公开:~10万张GB200 GPU、跑了~100天、单卡 2.5 PFLOP/s、利用率按 30% 估。
训练总算力 ≈ 10万 × 2.5×10¹⁵ × 0.3 × 100×86400 ≈ 6.5×10²⁶ FLOPs。
然后反推模型参数:总算力 = 6 × 参数 × 训练耗掉的 token 数。
token 数是不确定的,欧盟文件写 >10T,按规模往高了猜可能在 60T 到 100T 之间:
取 60T token → 等效激活 1.8T → 总参数约 14–22T取 100T token → 等效激活 1.1T → 总参数约 9–13T
两个口径都在万亿参数级别。
但比参数数字更值得看的是规模本身:单次训练就要十万张卡连跑一百天。我的判断是,AI 竞赛的护城河早就不在算法了,谁拿得到 GPU、谁能持续填满一个校区的电源,谁才上得了这桌。