摘要
面向上下文理解的生成式阅读理解方法、设备及介质,使用预训练语言模型的编码器获取待阅读理解文本的向量表示,解码时使用流水线解码器,对向量表示通过并行解码的方式生成理解结果,所述流水线解码器为堆叠的Transformer解码器,每隔延迟时间Δt启动生成一个新的子序列,子序列的首个词元依赖前面子序列已经生成的词元生成,直至达到最大子序列数或前面的子序列均已完成词元生成,解码得到的各个子序列组成最终理解结果。本发明流水线解码器在短语级和句子级数据集的阅读理解均表现良好,与顺序解码器相比,流水线解码器不仅具有更高的推理速度和更低的GPU内存使用量,而且生成质量也能满足需求。
技术关键词
阅读理解方法
序列
预训练语言模型
流水线
文本
顺序解码器
滑动窗口机制
编码器
答案
掩码矩阵
标记
超参数
可读存储介质
存储器
处理器
注意力
电子设备
系统为您推荐了相关专利信息
协同管理系统
生成数字签名
协同管理方法
分布式账本
凭证
时间序列信息
业务系统
整体结构设计
日期
残差学习
电压越限
电压监测数据
动态时间规整方法
序列
案例库