多模态分类模型的训练方法、多模态分类方法及存储介质

本申请公开了多模态分类模型的训练方法、多模态分类方法及存储介质，其方法实现，包括：获取训练数据集，其包括医学训练图像、临床训练信息以及标签信息；对医学训练图像进行病灶区域检测，以得到病灶区域训练图像；按照对应的编码规则分别对病灶区域训练图像、临床训练信息以及标签进行编码处理，以得到图像训练特征、临床训练特征以及标签特征；对图像训练特征以及临床训练特征进行特征融合，得到融合训练特征；基于融合训练特征以及标签特征，对多模态分类模型进行迭代训练，直到符合预设收敛条件时，得到训练完成的多模态分类模型。减少冗余信息干扰，强化临床先验知识融合，优化多模态信息交互，提升分类可靠性与准确性以及模型泛化能力。