一种基于多模态表示的实时多目标跟踪方法

本发明提供一种基于多模态表示的实时多目标跟踪方法，包括：获取当前时刻的第一模态数据与第二模态数据并输入至目标检测模型，以获得当前时刻的目标检测结果，所述目标检测模型为可自适应融合多模态特征的轻量级网络模型，所述目标检测结果包括目标的位置、类别与置信度信息；将上一时刻的目标轨迹与所述当前时刻的目标检测结果进行类内匹配与类间匹配，根据匹配结果更新所述上一时刻的目标轨迹，以得到当前时刻的目标轨迹。本发明能够同时满足多目标跟踪的实时性和精度要求。