面向人机交互基于大模型的多模态细粒度情感识别方法

本发明提出的面向人机交互基于大模型的多模态细粒度情感识别方法，基于方面驱动的视觉‑文本对齐与融合网络(AVTAF)，通过注意配对交互模块(APIM)实现从粗粒度到细粒度的跨模态对齐，可精准捕捉机器人场景中的情感相关视觉特征(如面部表情、手势)，并抑制环境噪声；同时，增强依赖图注意力网络(RD‑GAT)通过整合外部情感知识(如SenticNet)，提升大模型对多模态情感语义的推理能力。这一技术为机器人情感交互的智能化升级与大模型的多模态理解提供了新范式，有望推动家庭服务机器人、医疗陪护助手、多模态内容生成等领域的突破性应用。