PaperWeekly|论文盘点：基于图卷积GNN的多目标跟踪算法解析
北京联盟_本文原题：论文盘点：基于图卷积GNN的多目标跟踪算法解析
?PaperWeekly 原创 · 作者｜黄飘
学校｜华中科技大学硕士
研究方向｜多目标跟踪
随着这两年 GNN 的发展 ， 其对于关系的建模特性也被引入了多目标跟踪领域 ， 这次我通过对这两年基于 GNN 的 MOT 算法的介绍来分析其特点 。 相关 MOT 和数据关联的基础知识可以去我的专栏查看 。
EDA_GNN
本文插图
论文标题：Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking
论文来源：CVPR 2020
论文链接：https://arxiv.org/abs/1907.05315
代码链接：https://github.com/peizhaoli05/EDA_GNN
本文插图
从算法的示意图可以看到 ， 作者通过一个孪生网络求得了观测目标 j 与当前目标轨迹 i 的表观相似度 ， 然后取目标轨迹的历史位置为输入 ， 通过 LSTM 得到预测的位置 ， 计算该位置与观测目标位置的运动相似度 ， 两个相似度结合构建相似度矩阵 。
至此 ，所有目标轨迹与观测目标的相似度构成了一个二部图 ， 以目标和观测信息作为节点 ， 相似度作为边权 ， 表观特征和位置信息拼接作为节点属性特征 。
然后基于消息传递机制 ， 作者通过 GNN 的网络框架实现对节点特征的更新：
本文插图
邻接矩阵的 normalization 采用的是 row-wise softmax ， 即对相似度矩阵进行逐行 softmax ， 可以用注意力的方式来理解 ， W 为待学习的权重 。 最后通过一个激活函数 ReLU 实现特征的更新 。 对于边权关系的更新则是简单地利用 MLP 将两个节点特征的差转换为标量 。
本文插图
在训练的时候 ， 损失函数由三部分组成：
本文插图
本文插图
本文插图
其中第一部分是预测得到的关联矩阵的分类损失 ， 第二部分则是将 groundtruth 中的关联对取出 ， 计算分类损失 ， 第三部分是将新出/消失的目标单独取出 ， 计算 MSE 损失 。
DAN
本文插图
论文标题：Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network
论文来源：ICMR 2019
这里的 DAN 并非我之前提过的 DAN， 其整体流程跟 EDA_GNN 基本一样：
本文插图
都是先提取表观和运动特征 ， 由此构建网络图 ， 通过 GNN 得到最终的关联矩阵 。 首先相似度矩阵怎这里用的是 IOU 信息：
本文插图
IOU 后面的部分是帧间差 ， 如果目标存在跨帧链接 ， 那么间隔越久 ， 相似度越低 。 不过 DAN 与 EDA_GNN 不同的是 ， 并没有将图结构构建为二部图 ， 而是将跟踪节点和观测节点统一为节点集合 ， 因此邻接矩阵/相似度矩阵就变成了 (m+n)x(m+N) ， 这就是最基础的 GNN 网络结构了 。 所以节点特征的更新就是：
推荐阅读
- 奇葩|盘点一下那些让人哭笑不得奇葩死亡的中国古代皇帝
- 方志四川|王怀林 ‖ 打开康巴之门（53）：重新认识西部文化——兼论文化资源的转化问题
- 用车|盘点停车需掌握的窍门
- 潮人集|王一博搭配太"要命"？盘点他在各个领域的穿搭，网友：不愧是你
- 岳飞|盘点历史上被冤杀的4大名将，李牧是真的冤，而岳飞冤不冤存疑
- 盘点|全球最“恶心”的5个景点，马桶瀑布不算什么，最后一个难以忍受
- 辣妹盘点酱|人生，11句话（精辟）
- 明兰|盘点《知否》中明兰最好看的衣服，不是云舞裳，不是绿孔雀，而是她的主母装
- 娱乐盘点大剧院|我们不能左右天气，可以改变心情;我们不能改变容貌，可以展现笑
- 娱乐盘点大剧院|可以不做善人，不能为非作歹；可以不做君子，不能去做小人，早安