一种针对模态缺失问题的多模态提示学习方法及系统

本发明公开了一种针对模态缺失问题的多模态提示学习方法及系统。本发明的多模态提示学习方法，包括：在高资源数据集上完成多模态模型的预训练；针对低资源数据集上不完整的模态数据，通过缺失模态生成模块恢复缺失模态特征；通过合并信号缺失提示，以区分真实模态和恢复的缺失模态；通过附加类型缺失提示，以建模多个缺失模态的相关性；将完整模态数据在预训练模型中进行推理，并更新缺失模态生成模块参数、信号缺失提示参数和类型缺失提示参数。本发明利用少量可学习的提示，指导可用模态恢复缺失模态的特征，从而增强多模态预训练模型在处理不完整模态数据时的可靠性。