强烈推荐论文Recursive Self-Improvement
论文提出了一种名为 Meta^n 的方法，用于实现大语言模型智能体的递归自我改进（Recursive Self-Improvement through Emergent Depth）
背景与痛点
传统的自我改进型大语言模型智能体通常只优化答案，而不优化生成答案的过程。现有的元级别（meta-level）系统为了保持固定，其编辑机制必须保留一部分不被修改，这导致其元深度（meta-depth）通常被限制在二左右。
方法介绍
论文提出了 Meta^n，它使用一个固定且对输入进行递归的单一通用元操作（Ω）。该操作会重复应用于自身的产物，读取求解器的运行轨迹以及生成该轨迹的代码，然后编写下一个图层、预处理程序和可调用辅助函数库。由于该元操作保持不变，因此不会破坏系统稳定性；同时由于其输入不断增长，每一层都能以比上一层更高的视角运行。深度是由收敛性而非预先设定决定的，并且通过演化档案来搜索图层链。
实验结果
在所有八个模型家族中，Meta^n 的表现均优于先前的自我改进智能体。其中最显著的例子是 ARC-AGI-2（专门用于抵御技能记忆），Meta^n 是唯一得分大于零的系统。消融实验表明，递归的大部分动力来自于每一层传递给下一层的条件作用，并且随着深度的增加，即使没有人工提示的规定，图层角色也会自然涌现