基于自适应难度指令的多模态情感分析方法、系统

本发明涉及基于自适应难度指令的多模态情感分析方法、系统，属于自然语言处理领域。现有的大语言模型情绪分析方法在整合音频和视频方面存在不足，忽略了部分音频或视频模态对于模型分析情绪并无作用，甚至还可能对模型预测产生负面影响。在此提出一种基于指令跟随难度的模态自适应情感分析方法，首先将音频和视频模态转换为自然语言描述，大语言模型将通过文本提示执行多模态情感分析。然后，本发明通过指令跟随难度函数，旨在自适应地为对话文本添加多模态信息，以提高指令调优的效率和效果。在多模态情感分析数据集MELD和IEMOCAP上的实验结果表明，本发明提出的基于指令跟随难度的模态自适应情感分析方法是有效的。