数码小王|伯克利新工作:基于动态关系推理的多智能体轨迹预测问题( 二 )


算法第一步需要提取每个节点在观测图中的特征 , 每个节点可以根据自己的历史轨迹和环境信息获得自身属性(self-attribute) , 同时可以根据所有相邻节点的信息获得出其社会属性(social-attribute) 。 两相结合可以用于更新自我节点的属性 。
上述过程可以循环多次以提取更深层次信息 , 在实际操作中 , 一次该操作即可将全连接图的信息传递到任意一个节点 , 完成一次完整的特征提取 。 基于一对节点的属性可以更新二者之间边的属性 , 基于边的属性可以进行两节点之间关系的推断 。
将该边的属性送入softmax函数 , 即可得到该两节点之间关系类别的概率分布 , 即该关系属于L种可能的关系类别中每一种的概率 。 整个关系推断的过程 , 既可以基于已知的历史轨迹 , 也可以基于模型输出的最新预测结果 , 用于做进一步的长期轨迹预测 。
2.动态关系演变
EvolveGraph采用循环神经网络GRU对关系图的演变进行建模 。 将不同时间步的静态关系推断得到的结果依次输入GRU网络中 , 使之能够根据过去关系的历史以及对当前最新关系的推断 , 获得未来关系可能的发展情况 , 为后续基于关系推理的轨迹预测奠定基础 。
3.基于动态关系的预测
针对每一种可能存在的关系类型 , 模型之中均有一种与之对应的全连接网络用于获取在这种关系下两节点之间的相互影响 , 其输入是两节点的属性 。
针对某个特定节点 , 首先计算所有关系图中相邻节点的产生的影响 , 然后将其相加并与自己本身的信息一起送入循环神经网络 , 即可预测该个体未来的轨迹 。
对未来轨迹的预测是基于高斯混合模型的多模态分布 , 用于表征未来可能发生的多种模态下的运动轨迹 。
4.动态关系图与多模态的联系
不同模态下的运动常常伴随着不同的关系 。 例如 , 汽车直接通过十字路口可能是因为其他车辆在避让它 , 而汽车停在十字路口前等待可能是因为需要避让其他车辆 , 不同的交互关系会导致不同的结果 , 进而影响汽车的运动轨迹 。
因此 , 一方面动态图的引入为对更复杂多样的模态的建模提供了帮助;另一方面 , 多模态算法的引入也使得动态图在训练过程中避免或缓解多种可能性坍缩成一个平均结果的情况 , 并且能够更大程度地获得具有多样性的预测结果 。
三、实验结果
我们在多个数据集上验证了EvolveGraph算法并取得了与现有方法相比更好的预测效果 。 数据集涉及的应用领域覆盖了动态物理系统 , 车辆行人以及篮球运动员等 。 下面主要介绍在动态物理系统和车辆行人领域的部分结果 , 以预测误差和可视化的方式呈现 , 更多有趣的结果和细节详见论文 。
1.动态物理系统
我们设计了一个由三个粒子构成的动态系统 , 初始时所有粒子均处于x轴上方并且被一个刚性星型杆连接 , 系统整体具有随机初始速度和初始角速度 , 当某个粒子的轨迹穿越x轴时 , 刚性杆立刻消失 , 所有粒子开始以当前的速度进行匀速直线运动 , 在Table1中用“Change”表示 。
我们期望EvolveGraph模型可以从只包含轨迹观测的训练集中学到粒子间关系变化的规律 , 并且可以进行准确的长时间预测 。 为了增强完整性 , 我们也在粒子关系不变的系统上进行了实验 , 即刚性杆始终存在的情况 , 在Table1中用“Nochange”表示 。
我们在Table1中展示了对粒子关系的识别准确率 。 我们先采用有监督学习(supervisedlearning)的方法训练 , 因其效果最好将其当作“GoldStandard” 。 然而在实际问题中是获取不到真实的交互关系(groundtruth)的 , 所以有监督学习的方法并不适用 。 除此之外 , 跟其他baseline方法相比 , EvolveGraph可以达到最高的准确率 。
数码小王|伯克利新工作:基于动态关系推理的多智能体轨迹预测问题
文章图片


推荐阅读