摘要
本申请涉及自然语言处理技术领域,具体涉及基于大语言模型的数据处理方法及系统,该方法包括:对问答数据集中的文本数据进行分词和词性标注;预设逻辑词列表,得到每个词的逻辑权重因子;得到每个词的数字权重因子;获取每个词的TF‑IDF值,得到每个词的第一权重;预设目的词列表,得到每个词的目的表达能力值;得到每个词的目的词权重因子,得到每个词的第二权重;确认每个词的最终权重;对问答数据集进行预训练,结合最终权重,得到问答模型。本申请旨在提高问答模型回答的准确率。
技术关键词
大语言模型
数据处理方法
问答模型
因子
逻辑
列表
BERT模型
文本
数据处理系统
预训练模型
分词
自然语言
语句
处理器
存储器
编码器
元素
关系
系统为您推荐了相关专利信息
大语言模型
三维点云数据
上下文语义理解
语义理解方法
三维扫描设备
大语言模型
自动驾驶系统
成分分析技术
静态代码分析
IVI系统
年龄
XGBoost模型
逻辑回归模型
数据
生理