模态提示生成方法、多模态数据预测方法及装置

本申请公开了模态提示生成方法、多模态数据预测方法及装置，应用于多模态学习技术领域，生成方法包括：获取综合提示矩阵、多个数据样本和多个预设模态的提示权重矩阵；利用上述数据对预设的多模态大模型进行训练，在训练期间对综合提示矩阵和各预设模态的提示权重矩阵进行寻优处理，得到目标综合提示矩阵和各预设模态的目标提示权重矩阵作为模态提示；预测方法包括：获取待测的多模态数据，多模态数据缺失至少一项预设模态；根据目标综合提示矩阵、多模态数据和多模态数据的缺失模态的目标提示权重矩阵，结合预设的多模态大模型，得到与多模态数据相关联的预测结果。本申请有效地降低模态提示的设计复杂性，并提高多模态大模型的预测精度。