摘要
本说明书实施例披露一种文本处理方法及装置。该方法包括:首先,获取目标文本序列,其中包括顺序排列的T个词元。接着,利用状态空间模型进行T次迭代,以得到目标输出;其中,任意第t次迭代包括:利用所述状态空间模型中包括的选择门参数和缩放门参数分别处理第t个词元特征,得到选择门控信号和缩放门控信号;对上一次迭代后的状态空间表征与当前的输入状态进行组合操作,得到本次迭代后的状态空间表征;其中所述输入状态基于所述第t个词元特征而确定,所述组合操作的组合权重通过利用所述缩放门控信号对所述选择门控信号进行缩放处理而确定。之后,基于所述目标输出进行预测处理,得到目标预测结果。
技术关键词
状态空间模型
文本处理方法
线性变换矩阵
注意力
混合器
前馈神经网络
文本处理装置
参数
编码
计算机
信号处理
序列
可读存储介质
模块
存储器
处理器
系统为您推荐了相关专利信息
深度学习模型训练
样本
识别工作
分类规则
森林系统
偏振光
训练深度学习模型
马赛克
注意力
图像传感器
烟草植株识别方法
无人机航拍图像
特征融合网络
注意力机制
上采样