医疗多模态模型训练方法、装置、电子设备及存储介质

本发明涉及医疗多模态模型训练方法、装置、电子设备及存储介质，该方法包括：获取多模态医疗数据，包含医疗图像数据和医疗文本数据，并将医疗图像数据和医疗文本数据分别转换为图像标记和文本标记。对图像标记和文本标记进行编码处理，以提取图像特征和文本特征，并将图像特征和文本特征输入至医疗多模态模型进行信息关联。基于图像特征和文本特征的关联信息，通过医疗多模态模型根据预设的任务目标进行迭代训练，得到训练后的医疗多模态模型。医疗多模态模型由医疗图像分割模型、医疗图像分类模型、医疗视觉问答模型以及医疗文本分类模型共同构成，任务目标为医疗图像分割任务、医疗图像分类任务、医疗视觉问答任务以及医疗文本分类任务。