一种视觉语言模型的医疗图像分析方法、装置及存储介质

本发明涉及一种视觉语言模型的医疗图像分析方法、装置及存储介质，涉及视觉语言模型医疗图像分析技术领域。本发明针对数据集中的每个图像，利用第一文本编码器提取其疾病实体中每个元素的元素嵌入向量，计算每个元素嵌入向量和全部参考元素嵌入向量之间的余弦相似性；将任意图像的全部疾病实体的余弦相似度矩阵进行最大池化处理，投影成维度为1×参考元素数量的图像标签；将全部图像的图像标签拼接得到医学影像诊断报告中全部图像和全部参考元素之间的相似度矩阵；损失函数包含相似度矩阵预测约束和掩码预测约束，训练视觉语言模型，提高准确度；应用时，取视觉语言模型中训练完成的图像编码器和第二文本编码器进行医疗图像分析任务。