随机分配 DP-SGD 的闭式噪声标定:抵御成员推断攻击
研究针对随机分配下的 DP-SGD 提出一行闭式公式,用于约束训练模型上任何成员推断攻击(MIA)的准确率上限。在每轮 M 步、E 轮、噪声乘子 σ 且成员与非成员先验等概率时,攻击准确率至多约为 1/2+1/4√((1+(e^{1/σ²}-1)/M)^E-1),该式源自高斯分布与支配随机分配的高斯混合分布之间的卡方散度,可在约一微秒内给出 σ。
研究针对随机分配下的 DP-SGD 提出一行闭式公式,用于约束训练模型上任何成员推断攻击(MIA)的准确率上限。在每轮 M 步、E 轮、噪声乘子 σ 且成员与非成员先验等概率时,攻击准确率至多约为 1/2+1/4√((1+(e^{1/σ²}-1)/M)^E-1),该式源自高斯分布与支配随机分配的高斯混合分布之间的卡方散度,可在约一微秒内给出 σ。
研究提出 PrivTab,一种将隐私机制嵌入架构的表格基础模型,用于差分隐私分类,通过上下文学习把敏感行转换为紧凑且可证明隐私的摘要。在中等至强隐私预算下,它优于私有线性与神经网络基线,成员推断泄漏可忽略,强隐私下预测仍保持良好校准,并将数据集拟合时间缩短 10000 倍,仅需一次前向传播。
推荐理由:介绍一种把差分隐私机制嵌入架构的表格基础模型,读者可了解隐私分类在效用、速度与成员推断泄漏上的取舍。