Rényi 会计方法能否在 DP-SGD 中胜过无损会计方法？

针对固定批次、replace 邻接下的 DP-SGD，研究发现基于 Rényi DP 的隐私会计可使用与无损框架（隐私损失分布、f-DP）不同的最坏情况分布对。作者将最坏情况分布刻画为二维高斯混合，并推导出改进的 Rényi DP 界。数值与渐近比较显示，在多种超参数设置下，基于新界的 Rényi DP 会计可给出比无损框架更优的隐私保证。