基于蒸馏提升BERT的财经新闻情感分析方法和装置

AITNT
正文
推荐专利
基于蒸馏提升BERT的财经新闻情感分析方法和装置
申请号:CN202411081248
申请日期:2024-08-08
公开号:CN118607511B
公开日期:2024-11-26
类型:发明专利
摘要
本发明公开了一种基于蒸馏提升BERT的财经新闻情感分析方法和装置,方法包括以下步骤:利用大语言模型构建情感感知摘要数据集;对BERT模型进行领域自适应预训练;构建包括预训练后的BERT模型、双向GRU网络和基于注意力机制的指针网络的情绪语句摘要任务模型,对情感语句摘要任务模型进行微调;利用大语言模型对预训练后的BERT模型进行知识蒸馏;利用微调后的情感语句摘要任务模型和知识蒸馏后的BERT模型进行情感类别分析。本发明能够将大语言模型的情感分析能力迁移到训练硬件需求更小、更易部署、计算效率更高的BERT模型上,提高财经新闻情感分析的效率和准确性,为用户提供更有价值的情感分析结果。
技术关键词
情感类别 情感分析方法 摘要 大语言模型 BERT模型 语句 蒸馏 注意力机制 Softmax函数 情感分析装置 指针 网络 数据 分析模块 逻辑 标签 超参数
系统为您推荐了相关专利信息
1
一种自动构建综述性文献思维导图的方法及系统
语义 对象 层级 主题 大语言模型
2
一种狂犬病暴露风险评估方法及装置
暴露风险评估方法 视觉 患者 大语言模型 标签
3
基于大模型的垂直网站信息抽取方法、装置、设备和介质
文本 大语言模型 表达式 信息抽取方法 种子
4
一种智慧电厂中恶意软件的分类及溯源方法、设备及存储介质
溯源方法 标签算法 注意力机制 深度学习技术 序列
5
程序完整性保护方法、装置、设备和存储介质
完整性保护方法 程序特征 信封 文件包 生成程序
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号