摘要
本发明公开了多尺度上下文融合的文本增强系统、方法、设备及介质,涉及自然语言处理技术领域,方法包括:对待处理文本进行清洗处理、分词处理以及向量化处理,并得到初始向量;基于层次融合旋转位置编码机制对初始向量进行位置编码处理,得到带位置信息的特征向量;通过局部‑全局注意力融合层对带位置信息的特征向量进行融合处理得到多尺度特征图;基于记忆增强网络以及分层语义聚合网络对多尺度特征图进行处理得到增强后的上下文表示;基于增强后的上下文表示预测待处理文本对应的任务预测结果。本发明显著减少训练参数量与调优成本,整体实现端到端的高效、精准、泛化能力强的文本理解框架。
技术关键词
编码机制
记忆
编码计算机
动态位置编码
网络
多尺度特征提取
语义
注意力
分层
文本理解
电子设备
可读存储介质
分词
处理器
自然语言
系统为您推荐了相关专利信息
复合导热硅脂
烷氧基封端硅油
改性硅油
支化结构
导热材料技术
功率区间预测方法
注意力模型
气象
多层感知机
移动平均算法
图像增强网络
噪声
数据
雷达图像处理技术
二维快速傅里叶变换
低温雨雪冰冻环境
速率预测方法
粒子群优化算法
多地形
环境特征值
高炉出铁口
铁水
停滞现象
非易失性计算机存储介质
黑色