arXiv 隐私论文· Wei Zhai·· 4 天前AI 评分41
Nullify:面向 LLM 遗忘的免训练零空间激活引导方法
Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning
AI 导读
Nullify 是一种免训练、非破坏性的激活引导方法,用于大语言模型遗忘:它在推理时用引导向量把隐私相关激活从记忆答案上引开,同时满足零空间约束,使保留查询的激活基本不受影响。在 TOFU 和 MUSE 上的评估显示,Nullify 的遗忘质量达到或超过已有基线,并近乎无损地保持模型效用。由于完全不做权重更新,它可作为即插即用的推理时干预框架。
来源:arXiv 隐私论文 · arxiv.org