摘要
本申请提供一种语言模型评估方法、装置及电子设备,该方法包括:获取第一关键词以及词表,第一关键词为针对第一输入信息期望语言模型输出的关键词,词表中包括对语料库中的语料进行切分得到的多个分词;在词表中查找第一关键词对应的分词,得到第一关键词的扩展分词集;获取词表中每个分词的输出概率,分词的输出概率为语言模型针对第一输入信息确定的输出分词的概率;基于扩展分词集中分词的输出概率,确定用于评估所述语言模型的困惑度。以提升模型评估准确性。
技术关键词
分词
关键词
模型评估方法
处理器
电子设备
可读存储介质
计算机程序产品
评估装置
收发机
索引
模块
存储器
指令
解码
接口