一种基于模态特有及通用信息的缺失感知提示方法和系统

本发明公开了一种基于模态特有及通用信息的缺失感知提示方法和系统，属于多模态学习领域。对原始视频样本的初始特征进行模态缺失处理；对模态缺失特征统一特征维度和尺寸；其中统一特征维度后拼接得到多模态联合特征；统一尺寸后融合得到模态通用提示；利用门控融合机制控制模态对应可学习矩阵的融合，得到模态特定提示；融合模态通用提示和模态特定提示，得到特定‑通用提示作为缺失感知提示；将特定‑通用提示与多模态联合特征进行拼接，作为多模态模型的输入，引入全连接层以完成多模态下游任务。本发明通过向多模态模型引入模态缺失感知的可学习特定‑通用提示，实现了在数据模态不完整场景中的跨模态应用，提升了多模态下游任务的性能。