跳到正文
arXiv 隐私论文· Tomer Garber·· 1 天前AI 评分34

Enhanced Masked Diffusion Unlearning:面向掩码扩散语言模型的改进机器遗忘方法

Enhanced Masked Diffusion Unlearning

AI 导读

研究提出 Enhanced Masked Diffusion Unlearning(EMDU),针对首个公开的掩码扩散语言模型遗忘方法 MDU 的两处失效模式——随机答案掩码仍会向锚点泄露关键遗忘 token,以及记忆化近 one-hot 预测下 anchor-last KL 梯度消失导致训练停滞——改用对答案跨度全掩码的冻结锚点计算 anchor-first KL 散度。

来源:arXiv 隐私论文 · arxiv.org