一种基于单模态模型联合嵌入的多模态缺失预测方法及系统

本发明公开了一种基于单模态模型联合嵌入的多模态缺失预测方法及系统，包括：通过独立的单模态编码器对输入的模态进行特征提取，并根据得到的现有模态的特征生成所述现有模态的提示嵌入；其中，所述输入的模态包括：图像或文字；基于所述现有模态的提示嵌入，利用特征预测器生成缺失模态的嵌入；将所述缺失模态的嵌入与所述现有模态的提示嵌入相结合，并通过联合优化算法优化预测嵌入与真实嵌入的相似性；基于优化后的预测嵌入进行推理，输出多模态缺失预测结果。本发明方法无需依赖于多模态联合编码器，具有更广泛的适用性和更高的鲁棒性。