摘要
本申请公开了一种基于大语言模型的文档噪声处理方法、装置、设备及存储介质,涉及人工智能技术领域,包括:处理大语言模型处理待识别文档后得到的输出结果,并判断得到的置信度熵值是否大于预设熵值阈值,若不大于,则基于置信度熵值与预设目标熵值的差值确定文档数量,并将文档数量个噪声文档插入至待识别文档的上下文中间位置,得到待处理文档,并评分待处理文档,若评分结果大于预设评分阈值,则利用预设二分类模型处理待处理文档,若得到的陷阱文档概率不大于预设概率阈值,则基于评分结果分组判定待处理文档,并将基于得到的相关组判定结果与初始队列确定的目标队列输入大语言模型。这样能够提高对文档信息的处理效率。
技术关键词
大语言模型
检索算法
队列
陷阱
二分类模型
多源噪声
文本
语义
关键词
标记
人工智能技术
模式匹配
可读存储介质
实体
处理器
数值
电子设备
答案
模块
系统为您推荐了相关专利信息
冷量补偿方法
电机电流数据
可编程逻辑控制器
队列
稳态
机器学习模型
数据
随机森林模型
查询策略
缓存策略