扩充词表的方法以及装置

AITNT
正文
推荐专利
扩充词表的方法以及装置
申请号:CN202410711578
申请日期:2024-06-03
公开号:CN118862876A
公开日期:2024-10-29
类型:发明专利
摘要
本说明书实施例提供扩充词表的方法以及装置,其中所述扩充词表的方法包括:获取训练语料;所述训练语料包括第一语种的语料数据;基于预设分词模型,得到所述训练语料对应的第一词表;所述第一词表中包含表示所述训练语料中的词语的标识;将所述第一词表与第二词表合并,得到扩充词表,以便大模型基于所述扩充词表处理业务数据;所述第二词表为基于第二语种的语料数据生成的已知词表。使得大模型针对不同语种的业务也可以更准确的进行处理,提高大模型的处理效果。
技术关键词
分词模型 计算机可执行指令 字符 词语 数据 处理器 计算机程序产品 汉字 标识 可读存储介质 存储器 模块 符号 基础 关系
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号