一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法

本发明公开了一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法，所述方法针对传统ViT多模态视觉模型在模型训练过程中数据增强对模态缺失情况的模拟能力有限，并且在模型结构设计方面未考虑到模态缺失的情境，提出了考虑模态缺失情境的多模态ViT视觉模型结构，构建步骤如下：步骤一、单模态分支结构设计；步骤二、缺失模态的检测；步骤三、缺失模态的投影；步骤四、多模态融合ViT。本发明妥善处理了模态缺失的情境，在模态缺失的情境下依然能维持较高性能和稳定输出，提升了模型的准确性和鲁棒性，减少了因模态缺失而可能导致的安全隐患。