持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第19天,youtu.be/kMhwXnLgT_I
2. 基于卷积神经网络的在线训练跟踪器
这些是使用卷积神经网络的在线训练跟踪器。其中一个例子就是多域网络(MDNet),它是VOT2015挑战赛的获胜者。由于卷积神经网络的训练在计算上非常昂贵,所以这些方法在部署期间必须使用较小的网络以快速训练。然而,较小的网络并没有太多的区分能力。一种选择是我们训练整个网络,但在推理过程中,我们使用前几层作为特征提取器,也就是说,我们只改变在线训练的最后几层的权值。因此,我们用CNN作为特征提取器,最后几层可以快速在线训练。本质上,我们的目标是训练一个能区分目标和背景的通用多域CNN。然而,这在训练中带来了一个问题,一个视频的目标可能是另一个视频的背景,这只会让我们的卷积神经网络混淆。因此,MDNet做了一些聪明的事情。它将网络重新安排为两部分:第一部分是共享部分,然后有一部分是独立于每个域的。每个域意味着一个独立的训练视频。首先在k个域上迭代训练网络,每个域都在目标和背景之间进行分类。这有助于我们提取独立于视频的信息,以便更好地学习跟踪器的通用表示。
经过训练,去除领域特定的二分类层,我们得到了一个特征提取器(上文共享网络),它可以以通用的方式区分任何目标和背景。在推理(生产)过程中,最初的共享部分被用作特征提取器,删除特定的领域层,并在特征提取器之上添加二分类层。这个二分类层是在线训练的。在每一步中,通过随机抽样的方式搜索前一个目标状态周围的区域来寻找目标。MDNet是一种最精确的基于深度学习的在线训练,不需要检测,单目标跟踪。
3. 基于LSTM+ CNN的基于视频的目标跟踪器
另一类目标跟踪器非常流行,因为它们使用长短期记忆(LSTM)网络和卷积神经网络来完成视觉目标跟踪的任。循环YOLO (ROLO)就是这样一种单目标、在线、基于检测的跟踪算法。该算法使用YOLO网络进行目标检测,使用LSTM网络进行目标轨迹检测。LSTM与CNN的结合是厉害的,原因有二。
a) LSTM网络特别擅长历史模式的学习,特别适合于视觉目标跟踪。
b) LSTM网络的计算成本不是很高,因此可以构建非常快速的真实世界跟踪器。
YOLO INPUT – 原始输入帧
YOLO OUTPUT – 输入帧中包围框坐标的特征向量
LSTM INPUT – 拼接(图像特征,包围框坐标)
LSTM OUTPUT – 被跟踪目标的包围框坐标
上面的图我们这样理解:
- 输入帧通过YOLO网络。
- 从YOLO网络得到两个不同的输出(图像特征和边界框坐标)
- 这两个输出送到LSTM网络
- LSTM输出被跟踪目标的轨迹,即包围框
初步的位置推断(来自YOLO)帮助LSTM注意某些视觉元素。ROLO探索了时空上的历史,即除了地理位置的历史,ROLO还探索了视觉特征的历史。即使当YOLO的检测是有缺陷的,比如运动模糊,ROLO也能保持稳定跟踪。此外,当目标物体被遮挡时,这样的跟踪器不太会失败。
最近,有更多基于LSTM的目标跟踪器,它们通过许多改进比ROLO好得多。但是,我们在这里选择了ROLO,因为它简单且容易理解。
希望这篇文章能让你对视觉目标跟踪有一个很好的理解,并对一些成功的关键目标跟踪方法有一些见解。
英文原文:cv-tricks.com/object-trac…