梯度裁剪

本文详细介绍了DP-SGD（差分隐私随机梯度下降）算法，包括逐样本梯度、梯度裁剪和高斯噪声三个关键改进，并讨论了其在Google VaultGemma等实际系统中的应用。通过CIFAR-10上的小型CNN训练实验，对比基线模型和不同隐私预算（ε=8,3,1）下的DP模型，展示了隐私与效用的权衡：ε=8时准确率从77%降至58%，ε=1时降至30%；同时DP-SGD起到正则化作用，减少过拟合。文章提供了完整代码和调参建议，强调DP-SGD是理论到实践的桥梁，其成本取决于数据规模和模型大小。