追踪部分的主要思路是在当前帧和(局部)地图之间寻找尽可能多的对应关系，来优化当前帧的位姿。
作者在追踪这部分主要用了几种模型：运动模型(Tracking with motion model)、关键帧(Tracking with reference key frame)和重定位(Relocalization)。
下面一一介绍。
Tracking with motion model
假设物体处于匀速运动，那么可以用上一帧的位姿和速度来估计当前帧的位姿。上一帧的速度可以通过前面几帧的位姿计算得到。这个模型适用于运动速度和方向比较一致，没有大转动的情形下，比如匀速运动的汽车、机器人、人等。而对于运动比较随意的目标，当然就会失效了。此时就要用到下面两个模型。
Tracking with reference key frame
假如motion model已经失效，那么首先可以尝试和最近一个关键帧去做匹配。毕竟当前帧和上一个关键帧的距离还不是很远。作者利用了bag of words(BoW)来加速匹配。首先，计算当前帧的BoW，并设定初始位姿为上一帧的位姿;其次，根据位姿和BoW词典来寻找特征匹配(参见ORB-SLAM(六)回环检测);最后，利用匹配的特征优化位姿。