摘要
本申请实施例公开关键词检测模型训练和推理方法、电子设备和存储介质,其中,方法包括:在训练阶段,对文本序列的潜在表示进行随机屏蔽,生成被屏蔽版本;利用所述关键词检测模型使用这个被屏蔽的版本和未被屏蔽的版本一起,通过所述联合网络计算出预测的分布,同时计算所述未被屏蔽的版本的分布,作为自蒸馏学习的教师信号;在推理阶段,所述关键词检测模型支持两种解码模式:自回归解码和非自回归解码,其中,在自回归解码模式下,使用所述预测网络的输出来生成关键词的激活分数,在非自回归解码模式下,屏蔽预测网络的输出,只使用所述编码器和所述联合网络来生成激活分数;将这两种解码模式的激活分数进行融合,得到最终的解码结果。
技术关键词
解码模式
检测模型训练
推理方法
生成关键词
网络
编码器
电子设备
文本
教师
序列
阶段
处理器通信
蒸馏
存储器
指令
学生
信号