摘要
本发明涉及基于多维度答案筛选的低资源语言开放域问答方法,属于自然语言处理技术领域。本发明包括步骤:通过大语言模型根据低资源语言查询问题和文档生成多样化的候选答案集合,同时用英语生成对低资源语言查询问题的分析和描述;基于全部文档信息及英语问题描述,利用大语言模型对候选答案进行全局篇章验证;从文档中提取支持该答案的句子作为证据,完成对候选答案的局部证据验证;采用成对排序方法对候选答案集合进行相关性排序,实现不同候选答案间的相互验证;通过计算每个候选答案考虑不同维度的等权重评估总分,筛选出最终符合低资源语言开放域问答要求的答案。本发明的方法能够提升大语言模型在低资源开放域问答任务中的性能。
技术关键词
低资源语言
答案
大语言模型
问答方法
英语
非暂态计算机可读存储介质
排序方法
网络爬虫技术
问答系统
数据
处理器
自然语言
定义
存储器
电子设备
语义
批量
校正
噪声