一种基于语义匹配的上下文模态补全多模态学习方法

本发明公开了一种基于语义匹配的上下文模态补全多模态学习方法，涉及多模态学习技术领域，包括以下步骤：对于存在模态损坏的多模态样本，基于保留的完好模态数据，从数据库中匹配语义相关的完整样本；根据所述语义相关完整样本的模态数据，结合剩余完好模态的语义信息，生成损坏模态的补全表示；将补全后的模态数据与剩余完好模态数据输入多模态融合模型，生成预测结果；通过任务相关损失和补全损失的组合优化模型参数，提升模态损坏条件下的性能稳定性。本发明，通过语义匹配和上下文模态补全的创新框架，有效解决了多模态学习中的模态损坏问题，显著提高了多模态融合模型在模态损坏情况下的性能和稳定性。