研究利用激活碎片化几何检测大语言模型中被抑制的知识

一项研究提出通过测量 anon-vectors 的几何一致性来检测大语言模型是否真正掌握某概念：真实知识形成低熵紧密簇，无知则导致几何碎片化。在三个模型家族的十个指令微调 LLM 上，所有碎片化指标均能可靠区分已知与未知概念；在机器遗忘后，碎片化几何与四类攻击、五种遗忘算法下的对抗恢复相关，但方向取决于攻击方法。