摘要
本发明公开了一种基于动态分块及选择的长文本阅读理解方法,其特点是该方法采用动态分块将长文本输入动态地划分为离散的文本块,使用选择分块选择筛选出不相关的文本片段,并将剩余的文本片段按原始顺序拼接,以符合大语言模型预定义的上下文窗口限制,具体包括:文本预处理、动态分块、块选择和大模型输出等步骤。本发明与现有技术相比具有提高语义连贯性和理解准确性,增强模型对超长文本的处理能力,确保每个分块内部语义完整,减少因分块导致的语义歧义,避免了固定长度分块导致的语义连贯性破坏,提高语义连贯性和理解准确性,增强了模型对超长文本的处理能力,数据利用效率高,在实际应用中具有重要的价值和良好的运用前景。
技术关键词
阅读理解方法
文本
分块方法
语义
序列
大语言模型
BERT模型
分类器训练
注意力机制
动态地
分块阈值
强化学习算法
训练分类器
生成答案
索引
系统为您推荐了相关专利信息
电力需量预测
历史负荷数据
优化调度模型
负荷预测模型
计划
解调方法
信号采样设备
二次谐波信号
滑动平均滤波
可调谐二极管激光器
描述符
关键词
语义特征
智能化数据分析
规划系统