江苏龙网

  1. 首页 > 人文 > >

『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络( 二 )


『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络
文章图片
在这张图中 ， 每一个节点都包含一个神经网络 ， 上图放大标记出了一个这样的节点与其包含的神经网络 。 在这个NBDT中 ， 预测是通过决策树进行的 ， 保留高层次的可解释性 。 但决策树上的每个节点都有一个用来做低层次决策的神经网络 ， 比如上图的神经网络做出的低层决策是「有香肠」或者「没有香肠」 。
NBDT具备和决策树一样的可解释性 。 并且NBDT能够输出预测结果的中间决策 ， 这一点优于当前的神经网络 。
如下图所示 ， 在一个预测「狗」的网络中 ， 神经网络可能只输出「狗」 ， 但NBDT可以输出「狗」和其他中间结果（动物、脊索动物、肉食动物等） 。
『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络
文章图片
此外 ， NBDT的预测层次轨迹也是可视化的 ， 可以说明哪些可能性被否定了 。
与此同时 ， NBDT也实现了可以媲美神经网络的准确率 。 在CIFAR10、CIFAR100和TinyImageNet200等数据集上 ， NBDT的准确率接近神经网络（差距
【『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络】神经支持决策树是如何解释的
对于个体预测的辩证理由
最有参考价值的辩证理由是面向该模型从未见过的对象 。 例如 ， 考虑一个NBDT（如下图所示） ， 同时在Zebra上进行推演 。 虽然此模型从未见过斑马 ， 但下图所显示的中间决策是正确的-斑马既是动物又是蹄类动物 。 对于从未见过的物体而言 ， 个体预测的合理性至关重要 。
『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络
文章图片
对于模型行为的辩证理由
此外 ， 研究者发现使用NBDT ， 可解释性随着准确性的提高而提高 。 这与文章开头中介绍的准确性与可解释性的对立背道而驰 ， 即：NBDT不仅具有准确性和可解释性 ， 还可以使准确性和可解释性成为同一目标 。
『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络
文章图片
ResNet10层次结构（左）不如WideResNet层次结构（右） 。
例如 ， ResNet10的准确度比CIFAR10上的WideResNet28x10低4％ 。 相应地 ， 较低精度的ResNet^6层次结构（左）将青蛙 ， 猫和飞机分组在一起且意义较小 ， 因为很难找到三个类共有的视觉特征 。 而相比之下 ， 准确性更高的WideResNet层次结构（右）更有意义 ， 将动物与车完全分离开了 。 因此可以说 ， 准确性越高 ， NBDT就越容易解释 。
了解决策规则
使用低维表格数据时 ， 决策树中的决策规则很容易解释 ， 例如 ， 如果盘子中有面包 ， 然后分配给合适的孩子（如下所示） 。 然而 ， 决策规则对于像高维图像的输入而言则不是那么直接 。 模型的决策规则不仅基于对象类型 ， 而且还基于上下文 ， 形状和颜色等等 。
『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络
文章图片
此案例演示了如何使用低维表格数据轻松解释决策的规则 。
为了定量解释决策规则 ， 研究者使用了WordNet3的现有名词层次；通过这种层次结构可以找到类别之间最具体的共享含义 。 例如 ， 给定类别Cat和Dog ， WordNet将反馈哺乳动物 。 在下图中 ， 研究者定量验证了这些WordNet假设 。
『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络
文章图片
左侧从属树（红色箭头）的WordNet假设是Vehicle 。 右边的WordNet假设（蓝色箭头）是Animal 。
值得注意的是 ， 在具有10个类（如CIFAR10）的小型数据集中 ， 研究者可以找到所有节点的WordNet假设 。 但是 ， 在具有1000个类别的大型数据集（即ImageNet）中 ， 则只能找到节点子集中的WordNet假设 。


推荐阅读


上一篇：『米粒创意』Air 2将到，大疆Mavic

下一篇：「北京日报客户端」科技助力防春季扬尘，海淀城管检查全区56个出土工地