多模态语义图谱引导的决策方法、装置、设备及介质

本发明涉及人工智能技术领域，可应用于金融科技及医疗健康等业务场景中，公开了一种多模态语义图谱引导的决策方法、装置、设备及介质，包括：获取视觉、文本和动作数据，提取视觉特征向量、语言特征向量和动作特征向量并拼接生成多模态初始特征，映射至共享语义空间，构建多模态语义图谱并输入图谱引导的注意力机制生成跨模态对齐特征，跨模态对齐特征与任务目标输入元学习器生成任务适应性特征，任务适应性特征输入并行推理网络并行执行子任务，门控融合网络整合输出结果生成全局决策。本发明通过共享语义空间映射、图谱引导注意力和元学习器结合，增强跨模态语义关联和任务适应性，结合并行推理和门控融合，提升多模态决策的准确性与效率。