基于文本指导的层级跨模态情感分析方法及相关装置

本发明公开了一种基于文本指导的层级跨模态情感分析方法及相关装置。方法包括：通过单模态编码器编码处理各模态，构建掩码矩阵以反馈调整各模态的二级特征的权重值；对文本模态的特征进行多次自注意力运算，得到文本模态的不同层级特征向量并以其提供查询向量，结合非文本模态的特征向量执行多次超模态注意力任务，输出并跨模态融合各模态的目标特征向量，生成情感分析结果。在本发明中，通过掩码矩阵捕捉各模态间的差异和一致性，调整各模态的特征贡献，避免信息丢失；对文本模态的特征进行多次自注意力处理，分别将每次处理后的文本模态与非文本模态进行超模态注意力任务，促进多模态信息交互且减少模态间的噪声干扰，提高情感分析的可靠性。