大模型遗忘只是表演吗港理工团队揭示伪遗忘真相
你以为大模型“忘了”，其实只是装的。
来自香港理工等研究团队发现，许多机器“遗忘”操作只是表面现象。如果模型内部结构没变，那就称不上真正忘记了。
他们构建了一套表示空间分析工具箱，首次系统性地区分了“伪遗忘”和“真遗忘”，也就是可逆和不可逆遗忘。关键发现是：只有多个网络层发生大范围扰动，才算真正的遗忘。
举个例子：即使模型在输出上准确率下降，困惑度上升，但如果内部结构没动——那它就能轻松“想起来”。而真正的遗忘，会导致表示方向、分布中心、参数敏感区域等全方位漂移，Relearning也救不回来。
他们设计的工具箱包含PCA主方向变化、表示漂移（Shift）、CKA相似性分析、Fisher信息矩阵等多个维度，能精确评估模型是否真的“忘了”。
