一种基于自适应视觉语义融合的小样本多模态情感分析方法

本发明公开了一种基于自适应视觉语义融合的小样本多模态情感分析方法，实现小样本场景下的多模态情感分析任务。主要包括两个部分：基于深度提示微调的多模态专家提示和基于自适应视觉语义融合的协同优化算法。通过在视觉语言预训练模型的单模态编码器和多模态融合层分别嵌入可学习的专家提示实现多层次特征强化与融合。通过在决策阶段同步提取独立语义特征与多模态特征，利用相似度向量的反转运算结果挖掘被在多模态交互过程中被忽略的情感信息，并通过自适应评估模块动态学习双路特征的置信度权重，最终基于交叉熵损失函数优化模型参数，以实现高效的小样本多模态情感分析。