机器学习模型的黑盒公平性测试( 二 ) _机器学习

限制条件。可以使用现成的局部解释器来生成路径的线性近似。从一个这样的解释器中得到的线性约束可以用于符号评价，这将不需要任何专门的约束求解器。
数据驱动。我们的算法可以利用已知的数据，这些数据可以作为种子数据开始搜索。
全局和局部搜索。一旦找到一个单独的判别，我们就进行局部搜索，以发现许多输入组合，从而发现更多的判别。否则，我们使用符号执行进行全局搜索，以覆盖模型中的不同路径。
优化。局部解释器呈现与谓词相关的置信度。我们的算法根据约束条件的置信度得分来执行对其进行切换的选择。
可扩展性。我们的算法通过切换特征相关的约束来系统地遍历特征空间中的路径。这使得它具有可扩展性，不像其他技术那样考虑基于结构的覆盖标准。

贡献：我们的贡献如下。

我们提出了一种新的技术来寻找模型中的个体歧视。
我们开发了一种新的动态符号执行和局部解释的组合，以生成非可解释模型的测试用例。我们相信，局部解释器的使用将为黑盒 AI 模型的基于路径的分析开辟许多途径。
我们在几个具有已知偏差的开源分类模型上展示了我们技术的有效性。我们将我们的技术与现有的算法即 THEMIS、AEQUITAS 进行了实证比较，并展示了我们的方法比这些先前的工作所带来的性能改进。

算法我们将我们的算法分为两种不同的搜索算法，分别称为全局搜索和局部搜索。
下面是我们想通过设计的测试用例生成技术达到两个优化标准。有效的测试用例生成：给定一个模型 M，一组领域约束条件 C 和受保护属性集 P，目的是生成测试用例，以最大限度地提高|Succ|/|Gen|的比率，其中 Gen 是算法生成的非受保护属性值组合的集合，Succ ⊆Gen 可导致歧视，即 Succ 中的每个实例对不同的受保护属性值组合至少产生一个不同的决定。下面是关于这个标准的几个指标：

测试用例。每个测试用例不被视为所有属性值的集合，而只被视为非保护属性的集合。这确保了多个判别性测试用例不会被计入相同的非保护属性值组合。
领域约束。我们假设应用领域约束 C 可以过滤掉不真实的测试用例。
生成和判别测试的顺序。优化标准并没有规定所有的测试用例是否一次生成，也没有规定检查判别和生成是否可以同时进行。这样测试用例的生成也可以依赖于判别检查。

在软件测试领域，存在一些预定义的覆盖标准。在最近关于机器学习的著作中也定义了许多这样的覆盖标准。接下来，我们定义路径覆盖标准，使其适用于不同类型的模型。
覆盖标准：请注意，为任何黑盒模型定义路径覆盖标准都不是简单的。可以根据不同类型的模型的操作特点来定义其路径。例如，可以根据神经元的激活来定义神经网络中的路径，也可以定义决策树分类器中的决策路径。
我们将覆盖标准定义如下。给定一个分类模型 M 和一组测试用例 T，我们将 T 的覆盖率定义为 M 的决策区域被 T 执行的数量。
在本文中，我们使用决策树分类器来逼近模型 M 的行为，我们生成高精度的决策树模型来逼近 M 的决策区域，我们测试用例生成技术的目的是最大化路径覆盖率和个体歧视检测。
在实践中，自动测试用例生成过程总是有一个极限，在这个极限范围内，需要完成这两个目标的最大化。在我们的案例中，我们考虑了两个这样可能的限制：1）生成测试用例的数量 2）生成时间。
路径覆盖率最大化是通过利用符号执行算法的能力来实现的，该算法迎合了对不同执行路径的系统探索。。最大化路径覆盖率是在全局搜索模块中完成的，正如我们在最终算法所提到的。