自适应跨模态注意力与知识保持多模态数据融合方法

本发明涉及大模型的数据融合技术领域，具体涉及自适应跨模态注意力与知识保持多模态数据融合方法。该方法包括以下步骤：对多模态数据进行预处理与时空/语义对齐；通过模态特异性编码器提取特征，并投影至统一嵌入空间；利用自适应跨模态注意力模块动态学习模态重要性权重，在Transformer层内融合特征；通过知识保持层的门控机制控制多模态信息回流，防止灾难性遗忘；动态生成跨模态交互图，量化模态间依赖关系。本发明引入了一种自适应跨模态注意力与知识保持框架，该框架利用大模型骨干动态融合来自不同模态的信息，同时明确地解决灾难性遗忘问题并增强可解释性。