设为首页 | 收藏本站
您的位置:不须科技有限公司 > 联系我们 >

论文盘点:基于图卷积GNN的众现在的跟踪算法解析


点击:65 作者:不须科技有限公司 日期:2020-07-05 07:51:53

原标题:论文盘点:基于图卷积GNN的众现在的跟踪算法解析

©PaperWeekly 原创 · 作者|黄飘

辽中借娣环境工程有限公司

私塾|华中科技大学硕士

钻研倾向|众现在的跟踪

随着这两年 GNN 的发展,其对于有关的建模特性也被引入了众现在的跟踪周围,这次吾经历对这两年基于 GNN 的 MOT 算法的介绍来分析其特点。有关 MOT 和数据有关的基础知识能够去吾的专栏查望。

EDA_GNN

论文标题:Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking

论文来源:CVPR 2020

论文链接:https://arxiv.org/abs/1907.05315

代码链接:https://github.com/peizhaoli05/EDA_GNN

从算法的暗示图能够望到,作者经历一个孪生网络求得了不益看测现在的 j 与现在现在的轨迹 i 的外面相通度,然后取现在的轨迹的历史位置为输入,经历 LSTM 得到展望的位置,计算该位置与不益看测现在的位置的活动相通度,两个相通度结相符构建相通度矩阵。

至此, 一切现在的轨迹与不益看测现在的的相通度构成了一个二部图,以现在的和不益看测新闻行为节点,相通度行为边权,外面特征和位相新闻拼接行为节点属性特征。

然后基于新闻传递机制,作者经历 GNN 的网络框架实现对节点特征的更新:

邻接矩阵的 normalization 采用的是 row-wise softmax,即对相通度矩阵进走逐走 softmax,能够用仔细力的手段来理解,W 为待学习的权重。末了经历一个激活函数 ReLU 实现特征的更新。对于边权有关的更新则是浅易地行使 MLP 将两个节点特征的差转换为标量。

在训练的时候,亏损函数由三片面构成:

其中第一片面是展望得到的有关矩阵的分类亏损,第二片面则是将 groundtruth 中的有关对掏出,计算分类亏损,第三片面是将新出/消亡的现在的单独掏出,计算 MSE 亏损。

DAN

论文标题:Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network

论文来源:ICMR 2019

这边的 DAN 并非吾之前挑过的 DAN ,其团体流程跟 EDA_GNN 基原形通:

都是先挑取外面和活动特征,由此构建网络图,经历 GNN 得到最后的有关矩阵。最先相通度矩阵怎这边用的是 IOU 新闻:

IOU 后面的片面是帧间差,倘若现在的存在跨帧链接,那么阻隔越久,相通度越矮。不过 DAN 与 EDA_GNN 迥异的是,并异国将图组织构建为二部图,而是将跟踪节点和不益看测节点联相符为节点荟萃,因此邻接矩阵/相通度矩阵就变成了 (m n)x(m N),这就是最基础的 GNN 网络组织了。因而节点特征的更新就是:

邻接矩阵的更新为:

亏损函数为 Graph Loss,即对正负链接边权的交叉熵亏损函数:

终局如下:

GNMOT

论文标题:Graph Networks for Multiple Object Tracking

论文来源:WACV 2020

论文链接:http://openaccess.thecvf.com/content_WACV_2020/papers/Li_Graph_Networks_for_Multiple_Object_Tracking_WACV_2020_paper.pdf

代码链接:https://github.com/yinizhizhu/GNMOT

最先吾们望望算法流程:

能够望到,GNMOT 的迥异在于外面和活动片面别离采用了 GNN 网络,二者结相符得到的是相通度矩阵,由此输入数据有关片面。关于 GNN 网络的更新流程,作者设计了 4 步:

其中第一次边和节点的更新都是经历两层 FC 进走更新的。第三次的全局更新这边,作者引入了一个全局变量 u,先计算一切节点的特征均值和边权均值,再经历两层 FC 进走更新。这边的 u 会在出现在一切更新过程中,行为一个调节量。

末了一次的边权更新则是在两层 FC 之后再添了一层 softmax 层。

MPN Tracker

论文标题:Learning a Neural Solver for Multiple Object Tracking

论文来源:CVPR 2020

论文链接:https://arxiv.org/abs/1912.07515

代码链接:https://github.com/selflein/GraphNN-Multi-Object-Tracking

吾之前也介绍过这篇文章,但是之前不懂 GNN,因而只能做搬运工,现在学习了 GNN,因而就再次分析一下。最先是图的构建,图节点由一切帧的一切现在的构成,直接将不益看测新闻行为节点,异国跟踪,只有有关。

节点属性特征由训练得到的外面特征和几何特征构成,其中几何特征为位置和形状。并且定义外面特征距离用欧氏距离度量,几何特征距离用下面的公式度量:

时间特征自然就是帧数,这几个特征经历一个 MLP 网络得到最后的特征外达。

边的连接自然就是跨帧节点存在连接,而联相符帧节点不存在连接,边权的设定就是上面的距离度量。也就是说,这相等于一个端到端的离线跟踪框架。

新闻传递机制中,对于边权的更新和节点的更新手段如下:

其中对于边的更新就是由节点特征和原首边权经历 MLP 过程更新的。对于节点的更新,原由一个节点连接有众条边,因而必要进走聚相符,聚相符手段能够乞降、取平均,还能够是取最大值。而更新的代数 L 自然也就决定了图卷积网络的感受野,当 L 越大时,与之有关的节点在时间跨度上越大。

上面这个图从左去右是迥异时间帧的节点,这边举的例子是一个相邻三帧的节点连接。原首的更新机制中,对于节点的更新会将周围边的影响经历乞降的手段聚相符。而这边作者考虑了时间因素,将时间分为了以前和异日两个片面:

然后经历拼接的手段聚相符,末了行使 MLP 组织实现特征降维。

能够望下新闻传递代数的影响:

吾们发现在 3 代的时候就已经达到了性能上限,不过为了保证鲁棒性,作者照样选了 12.

不得不说离线的手段在 IDF1 指标上的外现很益:

PS:行家能够对于第一张图中的 Edge Classification 有疑心,即如何实现的边的稀奇化。这边原由每条边权都经过了一个 sigmoid 层,因此作者直接行使固定阈值 0.5 进走了裁剪。

GNN3DMOT

论文标题:Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning

论文来源:CVPR 2020

论文链接:https://arxiv.org/abs/2006.07327

代码链接:https://github.com/xinshuoweng/GNN3DMOT

从这篇最先,接下来的全是这个组的文章。这篇文章所涉及的算法框架很完善,值得一读:

算法流程经历这张图能够很容易得到,活动特征是经历 LSTM 网络回归得到的,联系我们外面特征是经历 CNN 网络得到的,二者相拼接。其中 3D 片面的输入则是点云新闻和 3D 位相新闻,o 外示物体,d 外示检测。将 2D 和 3D 特征拼接/相添得到每个节点的特征。而节点自然就是上一帧存在的现在的和现在帧的不益看测。

对于边权/相通度矩阵实在定,作者尝试了三栽手段,余弦距离、欧氏距离还有网络回归,即上图中的 Edge Regression:

自然这个也是边权更新的机制,而对于节点 新闻传递机制,作者也设计了四栽:

手段很清新,吾就不细讲了,能够望到聚相符手段都是乞降。另外由算法框架暗示图可知,每次新闻传递都会计算有关矩阵的亏损,那么为什么会采用 batch triplet loss呢?

作者把有关矩阵中的每条边权望作了 N 对匹配,三元组亏损中,最先选取相邻帧中的一对连接 i,j,然后别离选取迥异 id 的两帧节点 r,s,计算上述亏损。即要保证迥异帧间迥异 id 身份的边权的最幼距离越大越益。而对于相通度亏损,则是采用了两栽交叉熵亏损:

奏效如下:

能够望到行使网络回归的手段得到的相通度度量手段要比余弦距离和欧氏距离益, 2D 和 3D 特征融相符的手段更优,结相符了有关矩阵和节点迥异的聚相符手段,即 Table7 中的 type4 更优。

GNNTrkForecast

论文标题:Joint 3D Tracking and Forecasting with Graph Neural Network and Diversity Sampling

论文链接:https://arxiv.org/abs/2003.07847

代码链接:https://github.com/xinshuoweng/GNNTrkForecast

这篇论文内里,作者经历 GNN 将 3D MOT 和轨迹展望结相符在一首了。其中对于 GNN 网络的构建以及有关矩阵的获取跟之前的论文几乎一致,详细吾们就不介绍了:

那么 3D MOT 分支实际上就是 GNN 模型中的一片面,是按照 GNN 的边权矩阵进走数据有关:

而对于轨迹展望分支,作者基于条件自编码器的形态,设计的流程图如下,原由这块吾不熟识,因而吾就不细讲了。

奏效如下:

JDMOT_GNN

论文标题:Joint Detection and Multi-Object Tracking with Graph Neural Networks

论文链接:https://arxiv.org/abs/2006.13164

能够是望到比来说相符检测和跟踪的框架很炎门,作者团队又给添入了 GNN 模块,因而吾们浅易挑一下:

最最先的外面和活动特征片面就不挑了,一个是 LSTM/MLP 回归,一个是 Darknet53 回归得到的。图的构建照样是以检测框和现在的行为节点,节点特征的更新则是:

这内里要仔细的是两个 head,其中检测 head 的是按照各节点特征行使 MLP 降维得到用于分类和回归的特征。而数据有关 head 则是边权,它实在定是按照节点特征的迥异,经历三层全连接得到的:

最后奏效如下:

能够望到单纯用 GNN 做数据有关的升迁并不大,自然,这边并异国做溶解实验,也不克妄下评论。

参考文献

[1] Jiang X, Li P, Li Y, et al. Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking[J]. arXiv preprint arXiv:1907.05315, 2019.

[2] Ma C, Li Y, Yang F, et al. Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network[C]//Proceedings of the 2019 on International Conference on Multimedia Retrieval. 2019: 253-261.

[3] Jiahe L, Xu G, Tingting J.Graph Networks for Multiple Object Trackin[C]//The IEEE Winter Conference on Applications of Computer Vision (WACV).2020.

[4] Brasó G, Leal-Taixé L. Learning a neural solver for multiple object tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6247-6257.

[5] Weng X, Wang Y, Man Y, et al. GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning[J]. arXiv preprint arXiv:2006.07327, 2020.

[6] Weng X, Yuan Y, Kitani K. Joint 3d tracking and forecasting with graph neural network and diversity sampling[J]. arXiv preprint arXiv:2003.07847, 2020.

[7] Wang Y, Weng X, Kitani K. Joint Detection and Multi-Object Tracking with Graph Neural Networks[J]. arXiv preprint arXiv:2006.13164, 2020.

• 稿件确系幼我 原创作品,来稿需注解作者幼我新闻(姓名 私塾/做事单位 学历/职位 钻研倾向)

• PaperWeekly 默认每篇文章都是首发,均会增补“原创”标志

根据辽宁省委、省政府“一手抓疫情防控,一手抓复工复产”的工作要求和财政部《关于做好疫情防控期间彩票发行销售有关事宜的通知》(财综〔2020〕2号)、中福彩中心《关于恢复福利彩票部分全国联销游戏开奖有关工作的通知》(中彩发字〔2020〕31号)精神,结合辽宁省新冠肺炎疫情防控实际,全省福彩系统坚持“防疫和复市两不误”的原则,做了大量扎实的工作。3月16日至今,辽宁省福利彩票销售工作全面恢复。

原标题:蒋勤勤老的也太快了,身材也发福臃肿,成了宋佳的陪衬品!

领峰贵金属直播间明思老师:黄金静待非农选择方向

原标题:焦急的皮卡丘 比利时救护车的声音

友情链接