机器学习模型的黑盒公平性测试( 四 ) _机器学习

全球搜索比较。表 5 是 SG 与 AEQUITAS 在全局搜索策略方面的比较。我们的全局搜索方法使用聚类种子数据和符号执行，而他们的策略则使用输入空间的随机采样。从统计结果可以看出，一般来说，我们的算法生成的输入有更多的判别性。

文章插图

我们进行了一个实验来比较我们的全局搜索和基于随机数据的搜索的路径覆盖率。基于随机数据的搜索已经被应用于 THEMIS 和 AEQUITAS 。因此，本实验提出了与现有相关工作的比较。为了进行路径覆盖，我们学习了一个精度为 85%-95%的决策树模型，对每个基准使用 5 倍交叉验证来测量，并将每个生成的测试输入映射到决策树模型的路径上。表 7 的结果显示，在所有的基准中，SG 的平均路径覆盖率是随机数据的 2.66 倍。这个结果表明，在路径覆盖率指标上，我们优于其他算法。因此，我们的算法将能够在模型的各个不同地方找到偏见性的输入。这一点很重要，因为在一次实验中，如果我们使用测试用例进行再训练，我们可以对模型的多个部分进行去偏见。

文章插图

论文总结在本文中，我们提出了一种测试用例生成算法，用于识别机器学习模型中的个体歧视问题。我们的方法结合了符号评价的概念，它为任何程序系统地生成测试输入，并使用线性和可解释的模型来近似模型中的执行路径的局部解释。我们的技术还提供了一个额外的优势，因为它是黑盒性质的。我们的搜索策略主要横跨两种方法，即全局搜索和局部搜索。全局搜索迎合了路径覆盖率的要求，有助于发现初始的判别输入集。为了实现这一点，我们使用种子数据与符号执行，同时考虑本地模型中存在的近似，并智能地使用与本地模型中获取的路径约束相关的置信度。此外，局部搜索的目的是寻找越来越多的判别性输入。它从初始的可用判别路径集开始，并生成属于附近执行路径的其他输入，从而系统地进行局部解释，同时依靠对抗性鲁棒性属性。我们的实验评估清楚地表明，我们的方法比所有现有的工具表现得更好。
致谢本文由南京大学软件学院 2019 级硕士郭子琛翻译转述。

【机器学习模型的黑盒公平性测试】