一种用于大模型训练的数据处理方法

本发明模型训练数据处理技术领域，提供一种用于大模型训练的数据处理方法，包括：将商品评论文本通过特征情感词组合分词法生成情感标签集合，将商品评论文本通过情感词典词库进行分词生成情感词集合；将情感标签集合和情感词集合依次通过基于心理学模型的关联情感分布模型分别生成第一情感关联分布和第二情感关联分布；将第一情感关联分布和第二情感关联分布通过加权累加计算综合情感强度；将情感词集合和综合情感强度用于对基于改进卷积神经网络的文本情感分析大模型进行商品文本情感强度学习。本发明实现了从心理学角度衡量商品评论文本表达的情绪关联性，进而生成更为准确的数据集标注，减少了文本情感分析大模型对学习数据量的依赖。