摘要
本发明涉及目标时空轨迹处理技术领域,提供一种目标时空轨迹预训练模型构建方法、装置、设备及介质,所述方法包括:建立基于transformer解码器的时空轨迹预训练模型;所述时空轨迹预训练模型包括依次连接的混合嵌入层、多层多头掩蔽自注意力层和全连接前馈神经网络层;构建时空轨迹预训练数据集,所述时空轨迹预训练数据集包括目标时空轨迹token序列;基于所述时空轨迹预训练数据集,利用复合交叉熵损失函数训练所述时空轨迹预训练模型。本发明的目标时空轨迹预训练模型通过引入混合嵌入层,实现对目标轨迹中多属性信息的联合嵌入,使得目标时空轨迹预训练模型可以直接处理时空轨迹数据格式。
技术关键词
预训练模型
轨迹
归一化模块
解码器
注意力
前馈神经网络
可读存储介质
序列
拼接模块
网络模块
处理器通信
存储器
数据格式
指令
计算机
非线性
电子设备
系统为您推荐了相关专利信息
采摘茶青
名优茶采摘
多层堆叠结构
编码模块
路径规划方法
特征融合网络
火电设备
资源调度策略
深度确定性策略梯度
多源异构数据
寿命预测模型
剩余使用寿命预测
轧辊表面
注意力机制
统计特征
进化算法
注意力
长短期记忆网络
时序特征
卡尔曼滤波融合
动态障碍物
路径生成方法
环境实时感知
车载多传感器
语义