众力资讯网

网页链接Cognition分享了他们训练 SWE-1.7 模型的过程。SWE-1

网页链接Cognition分享了他们训练 SWE-1.7 模型的过程。SWE-1.7是在Kimi K2.7 Code基础上做的。

文章详细介绍里他们如何训练:通过稳定长时间 RL 训练、保持策略熵、减少训练和推理分布不一致;把 RL rollout 分散到三大洲多个集群;用压缩权重增量同步模型;强化容错;严格筛选训练数据和 verifier;以及让模型学会自我压缩上下文,从而处理最长可达数小时的任务。

训练后,SWE-1.7 相比 Kimi K2.7 Code 更会深入探索代码库、验证边界情况、用实验解决歧义,但代价是有时修改范围会略变大。