[LG]《How are linear representations learned? Exact solutions to the dynamics of abstraction》W W. Yang, A M. Saxe, P E. Latham [University College London] (2026)

在表征学习领域，概念如何从原始数据中“脱颖而出”并对齐为线性方向（即线性表征假设）仍是一个黑盒。过去的方法多关注训练后的静态结果或全局最优解，本质原因是缺乏一个能描述训练全过程中概念对齐（Abstraction）演化轨迹的动力学框架。

本文的核心洞见是：将抽象过程重新看作信号模式（S）与噪声交互模式（SC）在特征空间中的动态竞争。由此，通过在最小线性网络中推导出特征内核演化的精确解析解，揭示了终端抽象度由输入与目标几何的几何平均值决定，且深度能显著放大这种对齐效应。

这项工作真正留下的遗产是建立了一套可解析的抽象动力学理论，并证明了非线性激活（如ReLU）实际上会削弱表征的抽象度。它为通过“消融非线性”来提升大模型线性探测泛化性打开了新门，但尚未跨过的门槛是将此解析框架扩展到更复杂的非线性深度网络全路径中。

arxiv.org/abs/2607.08843 机器学习 人工智能 论文 AI创造营