江苏龙网

  1. 首页 > 资讯 > 科技 > >

|如何在机器学习的框架里实现隐私保护？( 四 )


虽然在复合多个样本点的梯度时 ， 梯度匹配算法会失效 ， 但这篇文章仍然展示了梯度对原始数据的暴露 。 通常 ， 联邦学习的算法会使用前面介绍的机密计算的工具（同态加密或多方安全计算）来实现可证明的隐私保护[18 ， 19] ， 只是这些机密计算的方法会带来很大额外的计算和通信开销 。
|如何在机器学习的框架里实现隐私保护？
本文插图

图5：攻击者从共享的梯度中恢复出原始数据 ， 从上到下分别是 MNIST、CIFAR100、SVHN、LFW [17]
相比于同态加密完全在密文域学习和运算 ， 是否存在一种数据弱加密方法 ， 使得模型可以直接在其上训练、推断同时还能拥有一定的隐私保证呢？最近的工作 InstaHide[20] ， 就利用 mixup[21] 和随机反转对原始图片弱加密 。 弱加密后的图片视觉上看不出原始图片的信息 ， 但深度神经网络仍然可以直接在其上训练推断 ， 取得了相当好的性能表现 。 此外 ， 该工作还展示了这种弱加密算法可以抵抗多种攻击方法 。 不过值得指出的是这种弱加密还没有计算复杂性的理论 ， 不能保证一定可以防住攻击 。
隐私保护与人们的生活息息相关 ， 在实践和理论上也是挑战和机遇并存 。 我们期待与更多同仁一起努力 ， 推动隐私保护领域的发展 。
参考资料：
[1] Hannah Alsdurf, et al. Covi white paper. arXiv276preprint arXiv:2005.08502, 2020
[2] https://github.com/Microsoft/SEAL
[3] Gilad-Bachrach, Ran, et al. Cryptonets: Applying neural networks to encrypted data with high throughput and accuracy. ICML 2016.
[4] Wagh, Sameer, et al. SecureNN: 3-party secure computation for neural network training. Proceedings on Privacy Enhancing Technologies 2019.
[5] https://github.com/facebookresearch/CrypTen
[6] https://github.com/OpenMined/PySyft
[7] Jayaraman, Bargav, et al. Distributed learning without distress: Privacy-preserving empirical risk minimization. NeurIPS 2018
[8] Michael Backes, et al. Membership privacy in microRNA-based studies. CCS 2016.
[9] Yu, Da, et al. Gradient Perturbation is Underrated for Differentially Private Convex Optimization. IJCAI 2020.
[10] Dong, Jinshuo, Aaron Roth, and Weijie J. Su. Gaussian differential privacy. arXiv preprint arXiv:1905.02383 (2019).
[11] Guo, Chuan, et al. Certified Data Removal from Machine Learning Models, ICML 2020
[12] Golatkar, Aditya, et al. Eternal Sunshine of the Spotless Net: Selective Forgetting in Deep Networks, CVPR 2020
[13] Ginart, Antonio, et al. Making AI Forget You: Data Deletion in Machine Learning, NeurIPS 2019
[14] Bourtoule, Lucas, et al. Machine Unlearning, Security & Privacy 2020
[15] Fredrikson, Matt, et al. Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures, CCS 2015
[16] Cen, Shicong, et al. Convergence of distributed stochastic variance reduced methods without sampling extra data. IEEE Transactions on Signal Processing (2020).
[17] Zhu, Ligeng, et al. Deep Leakage from Gradients, NeurIPS 2019
[18] Hardy, Stephen, et al. Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption. arXiv preprint arXiv:1711.10677 (2017).


推荐阅读


上一篇：网络主播|虎牙户外一哥言论引发争议称没钱看什么直播，还嘲讽斗鱼主播

下一篇：|AI无法成为「专利发明人」？一位计算机学者决定起诉美国专利局