刚开源了Checkpoint Engine 项目
github.com/MoonshotAI/checkpoint-engine
Checkpoint-engine 是一个简单的中间件,用于更新大语言模型推理引擎中的模型权重——这是强化学习中的一个关键步骤。
基于该项目可以在不中断服务、不重启整个模型的情况下,直接修改正在运行中的大模型推理服务所使用的权重参数,更新kimi k2的参数只需要20秒。
AI生活指南AI创造营
刚开源了Checkpoint Engine 项目
github.com/MoonshotAI/checkpoint-engine
Checkpoint-engine 是一个简单的中间件,用于更新大语言模型推理引擎中的模型权重——这是强化学习中的一个关键步骤。
基于该项目可以在不中断服务、不重启整个模型的情况下,直接修改正在运行中的大模型推理服务所使用的权重参数,更新kimi k2的参数只需要20秒。
AI生活指南AI创造营
作者最新文章
热门分类
科技TOP
科技最新文章