摘要
一种用于上下文压缩的深度学习网络,包括用于从输入的文本序列中学习上下文表示的上下文学习网络;用于对所述上下文表示进行压缩处理的压缩网络;以及,用于基于压缩后的所述上下文表示生成目标文本序列的生成网络;其中,所述压缩网络包括用于对所述上下文表示进行局部压缩处理,得到保留所述上下文表示的局部语义的第一压缩上下文表示的第一压缩网络;以及,用于对所述上下文表示进行全局压缩处理,得到保留所述上下文表示的全局语义的第二压缩上下文表示的第二压缩网络。
技术关键词
深度学习网络
文本
序列
信息编码
混合专家网络
面向深度学习
分类网络
标签
语义
交叉注意力机制
指标
指令
计算机程序产品
处理器
误差
参数
教师
系统为您推荐了相关专利信息
智能图像识别
状态评估方法
动态图像数据
序列
融合特征
隧道巡检方法
神经网络模型
高斯金字塔
关键点
特征点
航空发动机传感器
信号去噪方法
小波阈值
噪声
样本
诈骗电话识别方法
微调技术
深度学习模型
样本
文库