一种结合医学报告的多模态乳腺癌图像分割方法

本发明属于医学图像识别技术领域，具体公开了一种结合医学报告的多模态乳腺癌图像分割方法，包括以下步骤：从公共医疗数据库中获取乳腺癌的病理图像，以及与病理图像对应的文本信息；将病理图像与文本信息分为训练集与测试集；构建交叉注意力分类模型，并将训练集数据和测试集数据输入交叉注意力分类模型进行训练；利用训练好的交叉注意力分类模型对待分类的病理图像进行分类，得到分类后的病理图像；构建多头信息分割模型，将分类后的病理图像输入多头信息分割模型，完成对病理图像的详细分割。本发明实现了对乳腺癌图像的分类和精准分割，解决了当前图像模型在乳腺癌图像子类别分类精度低和目标区域识别准确度差的问题。