摘要
本发明公开了一种基于重新编程预训练语言模型的意图识别方法及系统,包括:将时间序列态势数据输入划分为多个连续的输入分块,并将所述输入分块嵌入线性层以获得分块嵌入;通过多头交叉注意力层连接自然语言文本嵌入与所述分块嵌入,并对所述分块嵌入进行重新编程;将提示嵌入和重新编程后的所述分块嵌入前馈至冻结的预训练语言模型并生成输出表示;通过线性投影将所述输出表示映射到目标意图空间并获得目标意图动作。本发明通过重新编程预训练语言模型,将时间序列数据高效地转换为适合语言模型处理的格式,不仅显著提高了分类准确率,还增强了模型在少样本学习分类任务中的性能。
技术关键词
预训练语言模型
意图识别方法
分块
自然语言文本
编程
注意力
序列
线性
意图识别系统
数据
子模块
矩阵
原型
分类准确率
投影模块
无人机
指令
系统为您推荐了相关专利信息
事件关系抽取方法
预训练语言模型
多任务
事件触发词
联合损失函数
数据生成模型
平台子系统
客服
自然语言
生成结构化数据
跨模态融合特征
指标
交叉注意力机制
时间卷积网络
中间件
智能从站
机器人控制器
LINUX系统
关节
算法模型