arXiv 隐私论文· Tomer Garber·· 1 天前AI 评分34
Enhanced Masked Diffusion Unlearning:面向掩码扩散语言模型的改进机器遗忘方法
Enhanced Masked Diffusion Unlearning
AI 导读
研究提出 Enhanced Masked Diffusion Unlearning(EMDU),针对首个公开的掩码扩散语言模型遗忘方法 MDU 的两处失效模式——随机答案掩码仍会向锚点泄露关键遗忘 token,以及记忆化近 one-hot 预测下 anchor-last KL 梯度消失导致训练停滞——改用对答案跨度全掩码的冻结锚点计算 anchor-first KL 散度。
来源:arXiv 隐私论文 · arxiv.org