游龙战神|基于决策树的足球目标检测多峰数据挖掘框架

引用【游龙战神|基于决策树的足球目标检测多峰数据挖掘框架】Chen S C, Shyu M L, Chen M, et al. A decision tree-based multimodal data mining framework for soccer goal detection[C]//2004 IEEE International Conference on Multimedia and Expo (ICME)(IEEE Cat. No. 04TH8763). IEEE, 2004, 1: 265-268.
摘要本文提出了一种新的多媒体数据挖掘框架 , 该方法通过结合多模态分析和决策树逻辑来提取足球视频中的足球进球事件 , 提取的事件可用于索引足球视频 。 我们首先采用一种先进的视频镜头检测方法来产生镜头边界和一些重要的视觉特征;然后为每个镜头以不同的粒度提取视觉/音频特征 , 通过预过滤步骤对丰富的多模式功能集进行过滤 , 以清除噪声并减少无关数据 。 决策树模型建立在清理的数据集上 , 并用于对射门进行分类 。 最后 , 实验结果证明了本系统的足球目标提取框架的有效性 。
1 介绍近年来 , 在体育视频数据 , 尤其是足球视频中挖掘信息已成为一个活跃的研究主题 。 对于足球视频分析和事件识别 , 大多数现有工作都是基于单峰方法 。 不难看出 , 在足球目标检测应用领域中 , 不同的模式有不同的贡献 。 随着多模态方法显示出其希望 , 它还提出了如何处理大量多模态特征中包含的丰富语义信息的问题 。 在现有研究中 , 提出了一种使用隐马尔可夫模型检测和识别足球亮点的数据挖掘方法 。 但是 , 它无法识别目标事件 , 并且存在处理长视频序列的问题 。
长期以来 , 数据挖掘技术一直被用来从大型数据集中发现有趣的模式 。 在本文中 , 我们提出了一种基于决策树的多模态数据挖掘框架 , 用于足球目标检测 。用于数据挖掘的训练数据是为每个视频镜头提取的多模态特征(视觉和音频) 。 它是基于镜头的 , 因为视频镜头是视频内容分析的基本索引单位 。 此外 , 我们采用了先进的视频镜头检测方法 , 其优点是在镜头检测期间会产生一些重要的视觉特征和中层特征(例如 , 对象信息) 。然后 , 还提出了一种无监督且鲁棒的草皮区域检测方法 , 其工作量非常有限 , 这使我们的框架与大多数其他现有方法区分开来 。 然而 , 由于阳性样本(目标镜头)中的百分比很小(例如 1%) , 而阴性样本(非目标镜头)数量很大 , 因此在我们的数据预过滤步骤中已使用了利用视觉和音频线索的领域知识 清理原始特征数据集 , 以便为数据挖掘组件提供合理的输入训练数据集 。 据我们所知 , 几乎没有任何工作可以解决这个问题 。 最后 , 我们测试了由数据挖掘过程生成的决策树模型 , 并通过使用大量不同风格的 , 由不同广播公司制作的长足球视频序列来评估整体性能 。 根据我们的实验 , 结果的查全率和查准率均达到 92.3% , 这证明了集成数据挖掘和多模态处理的强大功能 。
2 框架架构本文的系统的体系结构如图 1 所示 。 从该图可以看出 , 所提出的框架包括以下三个主要组件:
视频解析:通过使用视频镜头检测子组件来解析原始足球视频序列 。 它不仅可以检测视频镜头边界 , 还可以在镜头检测过程中产生一些重要的视觉特征 。将检测到的镜头边界传递到特征提取 , 然后为每个镜头提取完整的多峰特征(视觉和音频) 。
数据预过滤:由于目标射门与非目标射门的比率非常小(例如 1 个目标射门) , 因此使用诸如视觉/音频线索之类的领域知识来消除噪声数据并减少原始功能集中的无关数据 100 张照片中) 。 通过数据预过滤 , 可以将阳性样品与阴性样品的比例提高到 1:20 。
数据挖掘:以“清理过的”特征数据作为训练数据 , 并建立适合足球目标检测的决策树模型 。
游龙战神|基于决策树的足球目标检测多峰数据挖掘框架图 1 框架架构


推荐阅读