摘要
本发明公开了一种基于蒸馏提升BERT的财经新闻情感分析方法和装置,方法包括以下步骤:利用大语言模型构建情感感知摘要数据集;对BERT模型进行领域自适应预训练;构建包括预训练后的BERT模型、双向GRU网络和基于注意力机制的指针网络的情绪语句摘要任务模型,对情感语句摘要任务模型进行微调;利用大语言模型对预训练后的BERT模型进行知识蒸馏;利用微调后的情感语句摘要任务模型和知识蒸馏后的BERT模型进行情感类别分析。本发明能够将大语言模型的情感分析能力迁移到训练硬件需求更小、更易部署、计算效率更高的BERT模型上,提高财经新闻情感分析的效率和准确性,为用户提供更有价值的情感分析结果。
技术关键词
情感类别
情感分析方法
摘要
大语言模型
BERT模型
语句
蒸馏
注意力机制
Softmax函数
情感分析装置
指针
网络
数据
分析模块
逻辑
标签
超参数
系统为您推荐了相关专利信息
溯源方法
标签算法
注意力机制
深度学习技术
序列