摘要
本发明提供了一种脉冲语言模型训练方法、文本分类方法及装置,可以应用于数据处理和计算机技术领域。该脉冲语言模型训练方法包括:根据预定语料库和经过预训练的预定教师模型,对脉冲语言模型进行预训练,得到第一脉冲语言模型,其中,脉冲语言模型包括的每个层结构包括M个模块,每个模块依次包括二进制转化单元、脉冲计算单元和归一化单元,预定语料库包括多个第一训练语句,M为正整数;根据预定训练集,对预定教师模型进行微调训练,得到微调教师模型,其中,预定训练集包括多个第二训练语句;根据预定训练集和微调教师模型,对第一脉冲语言模型进行微调,得到目标脉冲语言模型。
技术关键词
语言模型训练方法
二进制特征
语句
融合特征
教师
脉冲特征
文本分类方法
模块
训练集
蒸馏
降维特征
适配器
数据
标签
注意力
文本分类装置
参数
系统为您推荐了相关专利信息
数据查询平台
语句
数据查询方法
语义分析器
计算机程序产品
融合特征
物体表面缺陷
深度提取模型
深度图像信息
局部纹理特征
辅助诊断系统
表格
光学字符识别技术
文本
多模态