摘要
本发明涉及大语言模型优化技术领域,且公开了一种大语言模型多场域优化方法及系统,包括S1、获取用户输入文本;S2、文本内容提取;S3、建立检索区间;S4、关联性匹配;S5、数据清洗和筛选;S6、构建识别模型;S7、迭代优化。通过文本检索工具进行关键词提取,大幅降低全文本检索的计算量,避免冗余数据处理,结合多线程同步检索机制,并行匹配多场域数据,缩短响应延迟,采用SimHash算法对多场域数据进行数字化关联度计算,自动剔除相似度低于30%的低关联数据,减少噪声干扰,使得文本数据的关联性起到更加准确的判断与计算,提高模型对于数据的判断准确性,同时去除了关联性很低的数据,为模型计算减负,提高模型的运行效率。
技术关键词
大语言模型
SimHash算法
关键词
文本数据检索
孤立森林算法
区别方法
模块
多线程
检索对象
场景
动态更新
异常数据
标签
记忆
异构
冗余
音频
格式