免训练LLM遗忘方法Nullify提出
热点事件历史事件
免训练LLM遗忘方法Nullify提出
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
Wei Zhai 等人提出 Nullify,一种免训练、非破坏性的大语言模型遗忘方法:在推理时用引导向量把隐私相关激活从记忆答案上引开,同时满足零空间约束,使保留查询的激活基本不受影响。 据该论文,在 TOFU 和 MUSE 上的评估显示,Nullify 的遗忘质量达到或超过已有基线,并近乎无损地保持模型效用。由于完全不做权重更新,它可作为即插即用的推理时干预框架。
AI 根据报道生成 · 2 天前更新
最新进展10月8日 00:24
Nullify:面向 LLM 遗忘的免训练零空间激活引导方法报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv 隐私论文Nullify:面向 LLM 遗忘的免训练零空间激活引导方法
Nullify 是一种免训练、非破坏性的激活引导方法,用于大语言模型遗忘:它在推理时用引导向量把隐私相关激活从记忆答案上引开,同时满足零空间约束,使保留查询的激活基本不受影响。在 TOFU 和 MUSE 上的评估显示,Nullify 的遗忘质量达到或超过已有基线,并近乎无损地保持模型效用。由于完全不做权重更新,它可作为即插即用的推理时干预框架。