脉冲语言模型训练方法、文本分类方法及装置

AITNT
正文
推荐专利
脉冲语言模型训练方法、文本分类方法及装置
申请号:CN202411060741
申请日期:2024-08-05
公开号:CN118569339B
公开日期:2025-02-25
类型:发明专利
摘要
本发明提供了一种脉冲语言模型训练方法、文本分类方法及装置,可以应用于数据处理和计算机技术领域。该脉冲语言模型训练方法包括:根据预定语料库和经过预训练的预定教师模型,对脉冲语言模型进行预训练,得到第一脉冲语言模型,其中,脉冲语言模型包括的每个层结构包括M个模块,每个模块依次包括二进制转化单元、脉冲计算单元和归一化单元,预定语料库包括多个第一训练语句,M为正整数;根据预定训练集,对预定教师模型进行微调训练,得到微调教师模型,其中,预定训练集包括多个第二训练语句;根据预定训练集和微调教师模型,对第一脉冲语言模型进行微调,得到目标脉冲语言模型。
技术关键词
语言模型训练方法 二进制特征 语句 融合特征 教师 脉冲特征 文本分类方法 模块 训练集 蒸馏 降维特征 适配器 数据 标签 注意力 文本分类装置 参数
系统为您推荐了相关专利信息
1
基于深度学习的茶叶杀青方法
茶叶杀青方法 杀青设备 序列 阶段 边界检测算法
2
一种数据查询方法及装置
数据查询平台 语句 数据查询方法 语义分析器 计算机程序产品
3
逻辑回归模型的训练方法、使用方法、设备及存储介质
逻辑回归模型 切片 参数 数据 矩阵
4
物体表面缺陷的检测方法、装置、设备及介质
融合特征 物体表面缺陷 深度提取模型 深度图像信息 局部纹理特征
5
一种基于多模态大模型的疾病预测与辅助诊断系统构建方法及系统
辅助诊断系统 表格 光学字符识别技术 文本 多模态
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号