摘要
本申请公开了一种基于多尺度时空预训练大模型的任务预测方法、装置、设备、介质及产品,涉及人工智能技术领域,包括:基于多尺度空间格网划分结果,将时空轨迹点转化为时空轨迹文本;基于所述时空轨迹文本以及预训练语言模型,构建时空预训练大模型,其中,所述预训练语言模型包括多个编码单元,所述编码单元包括多头注意力模块、残差模块、标准化模块以及前馈神经网络模块;将目标用户的目标时空轨迹文本输入所述时空预训练大模型中,得到目标用户表征;将所述目标用户表征输入下游任务预测模型中,输出下游任务预测信息。本申请能够解决难以将用户表征应用到用户画像类及出行方式类任务上的技术问题,从而能够确保下游任务的准确预测。
技术关键词
预训练语言模型
轨迹
文本
多尺度
前馈神经网络
格网
残差模块
计算机程序产品
注意力
编码
分词
人工智能技术
出行方式
处理器
预测装置
输入模块
层级
输出模块
可读存储介质
系统为您推荐了相关专利信息
合同评审方法
评审系统
多模态
搜索引擎模块
OA系统