江苏龙网

  1. 首页 > 资讯 > 科技 > >

SUOD：「大规模异常检测系统」初体验( 二 )



SUOD：「大规模异常检测系统」初体验
本文插图

以上图为例 ， 我们有个m模型需要训练 ， 先用训练好的模型开销回归器对它们的开销进行训练 。 并根据开销的排序来分配每个core的任务数 。
4. 数据层面：Johnson-Lindenstrauss (JL) projection
我们前文说到了运算开销会随着维度上升而变大 ， 而且往往是quadratic的 ， 因此降维是一个非常合理的想法 。 但随即的降维 ， 比如简单的random projection ， 往往缺乏性能保证 。 而线性降维 ， 比如PCA ， 最大的问题是得到结果是确定的（determinastic） 。 换句话说 ， 每次用PCA得到的降维结果都是差不多的 ， 这不利于后续的训练多个模型 ， 尤其是集成学习模型 。 另一个显著的问题就是PCA本身就可以被作为一种异常检测的方法 ， 那么降维的过程会丢失掉一部分异常点 。
我们希望有一种降维方法：1 快速 ， 2 可以保留原始样本间的距离关系 ， 3 有一定的随机性 ， 4 在降维的过程中不会丢失异常信息 。
刚好有一种数学方法 ， 叫做Johnson-Lindenstrauss (JL) projection可以满足这个需求 。 JL降维的实际操作非常简单 ， 只要随即出一个投影矩阵（比如完全随即的高斯分布）就行 ， 但却有很好的数学性质来达到我们的需求 。 即使在实际操作中 ， 我们的数据并不完全符合JL的假设 ， 效果却还是不错的 。
所以在数据层面 ， 我们会用JL投影对高维数据进行降维 ， 以此来加速训练与预测 。
5. 模型层面：用(伪)监督模型来替换无监督模型
无监督模型 ， 尤其是非参数的无监督模型 ， 往往预测的开销很大 。 举个简单的例子 ， K近邻的预测就比较耗时 。 不幸的是 ， 大部分无监督的异常检测模型的预测开销都很大 。 那么我们该如何加速这个过程呢？
一个很自然的想法就是 ， 我们能不能用参数化的监督模型来替换无监督模型呢？因此我们提出了Pseudo supervised approximation（PSA） ， 思路其实跟知识蒸馏有点像 ， 但具体操作还是很不相同的 。 PSA的操作就是现在已有数据上用无监督异常检测来训练 ， 并得到它们的训练分数 ， 再用监督学习模型来模拟这个决策边界 。

SUOD：「大规模异常检测系统」初体验
本文插图

上图的1 ， 3 ， 5 ， 7分别是原始的无监督异常检测模型在测试数据上的决策边界（在二维的生成数据上） ， 而2 ， 4 ， 6 ， 8分别是我们用PSA训练得到的决策边界 。 从肉眼上看 ， 这直接和原始模型和用于模拟的模型的类别有关 ， 但总体的表现较为接近且有一定的防止过拟合的效果 。
当然 ， 并不是每个无监督模型都该被模拟 。 这种模拟只针对于运算开销大的的模型 ， 文章里我们更多的讨论什么时候不该用（比如线性模型像ABOD） 。
6. SUOD作为一个整体模型
需要特别注意的是 ， SUOD是一个由三个模块组成的加速系统 。 实际情况中 ， 我们并不需要使用所有模块 ， 而应该根据具体情况打开或者关闭特定的组件 。 如果不需要预测的话 ， 就不需要PSA 。 如果数据维度不是很高 ， 也不需要随机投影 。 假设没有并行系统的话 ， 自然也不能使用平衡调度 。
7. 实验结果
我们使用了超过30个异常检测数据集进行测试 ， 并将系统实际在IQVIA（一家大型健康咨询公司）的数据集上进行了验证 ， 效果均不错 。 相信在不断打磨 ， 提升鲁棒性后可以被更广泛的使用 。 在文章中我们分别验证了每一个模块独立的有效性 ， 也验证了整个系统的效果 。 高度概括的话 ， 加速效果一般可达到30%以上 ， 且模型的预测能力并未降低 ， 甚至略有上升 。
8. 总结与未来方向
在这个工作里 ， 我们提出了SUOD ， 一个由三个模块组成的大规模异常检测加速系统 ， 可以被直接用于加速PyOD里面的模型 。 这个三个加速模块着眼于不同的方向 ， 互补且相辅相成 。 从未来开发的角度上来看 ， 我们希望进一步验证后接复杂模型效果 ， 以及用监督模型来模拟无监督模型的理论依据 。


推荐阅读


上一篇：软网推荐：条理分明 请个索引专家

下一篇：华云数据智汇华云 | 超融合数据保护的7种容错机制