众力资讯网

上海AIlab ArchSpace:架构实验可复现 大模型架构创新依赖高成本训练

上海AIlab ArchSpace:架构实验可复现
大模型架构创新依赖高成本训练,但许多实验只公开实验结果,失败尝试、参数配置和取舍过程难以复用;学术机构的架构研究约占相关论文三分之一,获得的引用却不足 10%。

上海人工智能实验室联合复旦大学、上海交通大学和华东师范大学推出 ArchSpace,建立架构研究的开放记录与评审平台。研究者先提交设计变更、基线和验证计划,再公开代码、配置、模型权重、训练日志、失败实验及复现步骤,经社区审查后合并,后续研究可沿用已核验结果作为新基线。

验证分两阶段:Phase I 在 5 档训练算力预算下比较模型规模、数据量、学习率和批量大小,拟合 Scaling Law;Phase II 用 1B 模型训练 150B Token,再追加 10B Token、将上下文扩至 64K,检查能力是否保留。

团队提供 Qwen3.5 和 OLMo3 两套基线。Scaling Law 对实验损失的拟合误差为 0.25%–0.27%,外推到原实验上限约 10 倍时,误差为 0.32%。但目标学习率的估计误差仍有 23.1%–35.1%,因此适合缩小搜索范围,不能取代实测调参。长上下文训练后,Qwen3.5 的 RULER 从 17.5 升至 57.0,Base Main 从 27.9 升至 46.3。

目前平台提供的是两套基线和验证流程,尚未展示大量外部架构提案的社区验证成果;Scaling Law 也只在 Qwen3.5、OLMo3 上拟合。ArchSpace 希望把架构实验从零散结果变成可追溯、可复用的研究积累。

AI论文解读 大模型架构 ScalingLaw 开源研究 上海人工智能实验室