随机分配DP-SGD闭式噪声校准公式提出

Murat Bilgehan Ertan 提出随机分配 DP-SGD 的一行闭式公式，用于约束训练模型上任何成员推断攻击（MIA）的准确率上限。在每轮 M 步、E 轮、噪声乘子 σ 且成员与非成员先验等概率时，攻击准确率至多约为 1/2+1/4√((1+(e^{1/σ²}-1)/M)^E-1)，该式源自高斯分布与支配随机分配的高斯混合分布之间的卡方散度，可在约一微秒内给出 σ。 作者称，在适用场景下该公式所需噪声至多约为当前最优闭式界的一半；在主实验中，按该精确表达式校准比按公式校准少用 13.0% 至 20.2% 的噪声，且由于表达式精确，任何只知道 M、E 和 σ 的 accountant 都无法证明更小的 σ。作者还称，训练中由此得到的 σ 在测试准确率上优于该公式，并与一个已发表的 accountant 持平；该公式数秒内可求得、数分钟内可验证，而作者用该 accountant 做的每次搜索耗时更长或返回至少多 0.62% 的噪声。

AI 根据报道生成 · 3 天前更新