用于微调大语言模型的预处理文本的获取方法及装置

AITNT
正文
推荐专利
用于微调大语言模型的预处理文本的获取方法及装置
申请号:CN202411549961
申请日期:2024-11-01
公开号:CN119558290A
公开日期:2025-03-04
类型:发明专利
摘要
本发明公开了一种用于微调大语言模型的预处理文本的获取方法及装置,涉及文本处理技术领域,主要目的在于解决现有用于微调大语言模型的预处理文本的获取的问题。包括:确定待处理大语言模型的预处理任务,并对所述预处理任务进行量化统计,得到量化要素,所述预处理任务用于表征所述大语言模型适用于特定语言处理场景的内容;调取与所述预处理任务匹配的会话模板,并基于所述量化要素、所述会话模板确定目标检索领域的检索约束条件;响应于文本对象检索指令,按照所述检索约束条件在所述目标检索领域搜索文本对象,并将搜索到的所述文本对象与所述会话模板进行整合,得到预处理文本,以基于所述预处理文本对所述大语言模型进行微调。
技术关键词
大语言模型 模板 对象 答案 历史会话 文本处理技术 通信接口 生成指令 处理器 格式 存储器 场景 模块 字符 编辑 终端
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号