研究提出用激活碎片化检测LLM被抑制知识

一项研究提出通过测量 anon-vectors 的几何一致性，判断大语言模型是否真正掌握某概念：anon-vectors 是概念相关提问与其匿名化改写之间隐藏状态的差异，真实知识形成低熵紧密簇，无知则表现为几何碎片化。 在三个模型家族的十个指令微调 LLM 上，所有碎片化指标都能可靠区分已知与未知概念。研究还发现，机器遗忘后的碎片化几何与四类攻击、五种遗忘算法下的对抗恢复相关，但相关方向取决于具体攻击方法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。