面向上下文理解的生成式阅读理解方法、设备及介质

AITNT
正文
推荐专利
面向上下文理解的生成式阅读理解方法、设备及介质
申请号:CN202510526896
申请日期:2025-04-25
公开号:CN120493936A
公开日期:2025-08-15
类型:发明专利
摘要
面向上下文理解的生成式阅读理解方法、设备及介质,使用预训练语言模型的编码器获取待阅读理解文本的向量表示,解码时使用流水线解码器,对向量表示通过并行解码的方式生成理解结果,所述流水线解码器为堆叠的Transformer解码器,每隔延迟时间Δt启动生成一个新的子序列,子序列的首个词元依赖前面子序列已经生成的词元生成,直至达到最大子序列数或前面的子序列均已完成词元生成,解码得到的各个子序列组成最终理解结果。本发明流水线解码器在短语级和句子级数据集的阅读理解均表现良好,与顺序解码器相比,流水线解码器不仅具有更高的推理速度和更低的GPU内存使用量,而且生成质量也能满足需求。
技术关键词
阅读理解方法 序列 预训练语言模型 流水线 文本 顺序解码器 滑动窗口机制 编码器 答案 掩码矩阵 标记 超参数 可读存储介质 存储器 处理器 注意力 电子设备
系统为您推荐了相关专利信息
1
一种抗NSE蛋白的抗体或其抗原结合片段、肿瘤诊断产品及其应用
抗体 蛋白 肿瘤疗效评估 试剂盒 试纸条
2
一种大宗商品交易全流程协同管理系统及方法
协同管理系统 生成数字签名 协同管理方法 分布式账本 凭证
3
标书自动化生成方法、系统、设备及存储介质
自动化生成方法 大语言模型 图片 表格 关键词
4
一种基于可解释深度学习的医疗机构就诊人次预测方法
时间序列信息 业务系统 整体结构设计 日期 残差学习
5
一种基于大数据挖掘的电网电压越限成因诊断方法和系统
电压越限 电压监测数据 动态时间规整方法 序列 案例库
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号