摘要
本说明书实施例提供扩充词表的方法以及装置,其中所述扩充词表的方法包括:获取训练语料;所述训练语料包括第一语种的语料数据;基于预设分词模型,得到所述训练语料对应的第一词表;所述第一词表中包含表示所述训练语料中的词语的标识;将所述第一词表与第二词表合并,得到扩充词表,以便大模型基于所述扩充词表处理业务数据;所述第二词表为基于第二语种的语料数据生成的已知词表。使得大模型针对不同语种的业务也可以更准确的进行处理,提高大模型的处理效果。
技术关键词
分词模型
计算机可执行指令
字符
词语
数据
处理器
计算机程序产品
汉字
标识
可读存储介质
存储器
模块
符号
基础
关系