多模态AI数据融合处理方法、装置、设备及介质

本发明涉及多模态AI数据融合处理方法、装置、设备及介质，方法包括：首先通过预训练编码器提取视觉、听觉及文本模态特征并执行维度对齐，生成统一维度的标准数据特征集；基于余弦相似度算法构建跨模态语义图谱，解决异构数据语义失配问题；并对图谱节点进行残差增强，消除噪声干扰；结合图卷积网络融合优化特征与语义拓扑，生成聚合图表示；通过变分自编码器将融合特征映射至低维语义空间，捕获跨模态关联本质；量化关键维度贡献度并生成可视化报告，揭示模态间语义关联规则，从而突破传统融合技术维度异构性限制，建立可量化的跨模态语义映射，实现从特征融合到决策解释的全流程可追溯，有效解决医疗诊断、自动驾驶等领域多模态决策黑盒问题。