一种基于虚幻引擎的多层次语义交互式跨模态跟踪方法

本发明提供了一种基于虚幻引擎的多层次语义交互式跨模态跟踪方法。所述方法包括：使用虚幻引擎5构建虚拟仿真世界；构建行人和车辆虚拟多目标跟踪数据；构造文本‑轨迹匹配对生成多模态跟踪数据；构建逐层融合多模态语义特征的多目标跟踪模型；利用文本特征增强感知查询特征；将解码感知特征利用线性层映射到语义空间，并与编码的文本特征计算相似度；利用感知查询结果更新目标轨迹信息；本发明不仅解决了轨迹语义数据集缺失的问题，还通过逐层语义交互模块结合CLIP的跨模态对齐能力，显著提高了模型在复杂动态环境中的语义目标跟踪的准确性和召回率。