摘要
本发明公开了一种多模态数据融合的双分支变压器目的地预测方法,其方法包括以下步骤:S1、数据预处理,S2、候选目的地的构造,S3、多模态特征的双分支提取,S4、特征融合,S5、预测目的地。本发明基于车辆轨迹序列和轨迹图像两种数据,分别通过变压器和视觉变压器,即Transformer和Vision Transformer两个模型提取轨迹序列特征和图像特征;其次,提出基于交叉注意力机制的中期融合方法,获得融合特征,再根据融合特征得到各个目的地的概率分布,并进行排名;然后,将Top‑K个目的地构建为目的地预测结果,该多模态双分支目的地预测方法通过提取轨迹数据中的序列特征信息和图像特征信息,并通过融合模块进行特征融合,从而更准确地预测目的地。
技术关键词
多模态数据融合
序列特征
轨迹
图像特征信息
变压器模型
Softmax分类器
分支
融合多模态特征
多模态特征融合
图像化方法
交叉注意力机制
融合特征
嵌入方法
融合方法
视觉
系统为您推荐了相关专利信息
工业机器人
人机协作
距离传感器
工控机
机器人运动轨迹
无人车编队
围捕方法
斥力势场
通信网络
算法规划
生成数字人
情绪特征
面部
多模态交互
图像生成单元
邻居
分布式控制系统
模型更新
网络拓扑信息
计算机程序产品