arXiv 隐私论文· Gonzalo Mancera·· 21 小时前精选AI 评分71
inLoRA-MINT：用内部表示审计 LoRA 微调大模型的训练数据
inLoRA-MINT: Internal Representations for Auditing Training Data in Domain-adapted LLMs
AI 导读
研究提出 inLoRA-MINT，利用激活和参数相关信号等中间表示训练 MINT 分类器，在无需完整访问模型参数的条件下判断样本是否被用于 LoRA 微调。方法在 Qwen、Phi-4、DeepSeek-V3 和 LLaMA 3.2-3B 四个模型、覆盖医学、数学和学术推理的三份数据集上取得 95% 至 98% 的一致成绩，并对模型配置和数据分布变化保持稳健。
推荐理由
该研究把成员推断从困惑度扩展到中间层表示，在四个模型和三类领域上给出 95% 至 98% 的审计成绩。
来源：arXiv 隐私论文 · arxiv.org