摘要
本公开提供一种用于意图理解的语义增强预训练方法。包括语义增强预训练框架和意图理解微调框架,针对处理轨迹预测信息的模型,对轨迹预测意图理解模型进行训练:所述语义增强预训练框架,首先需要设计细粒度序列重建任务和粗粒度意图对比任务;所述细粒度序列重建任务采用时间维度的掩码策略,所述粗粒度意图对比任务通过添加基于相似性的损失,所述意图理解微调框架利用多模态未来解码器生成目标主体的多模态预测意图。从而实现提高模型在不同场景下对主体未来意图的预测性能,尤其是在长尾场景下的预测能力的效果。
技术关键词
预训练方法
意图
编码器
语义
解码器
掩码策略
物体运动轨迹
框架
多模态
令牌
序列
变量
矩阵
场景
网络
机制
模式
系统为您推荐了相关专利信息
掩码矩阵
情感分析方法
注意力机制
文本
梯度下降法
标签预测值
文本分类模型
关键词提取方法
大语言模型
数据
果品表面
图像分析技术
矩阵
空洞卷积神经网络
语义特征提取