一种异构多模态数据的深度语义协同融合方法

本发明涉及多模态信息处理技术领域，提供了一种异构多模态数据的深度语义协同融合方法。针对现有技术中模态交互机制僵化、语义建模浅层的问题，本发明提供动态适应性融合框架。方法包括：对文本、音频、视频模态数据进行特征编码与对齐，生成统一维度单模态表示；通过增强型多头门控融合模块实现动态交互，生成双路径特征；基于堆叠Transformer编码器进行跨模态深度建模，输出最终融合语义。其中多头注意力路径以文本为查询向量，音频/视频为键值向量计算跨模态映射；门控路径通过余弦相似度与可学习温度参数生成动态权重；双路径自适应融合采用平衡因子α加权组合。该方法提升多模态数据融合精度与系统鲁棒性，适用于政务服务、人机交互等场景。