基于血液生化文本引导的多模态骨肿瘤分类方法和系统

本发明公开了一种基于血液生化文本引导的多模态骨肿瘤分类方法和系统，该方法包括下述步骤：获取多模态数据；基于血液生化标志物构建血液生化文本引导因子；判断多模态数据中的骨肿瘤影像或病理切片图像是否缺失，不缺失时提取得到骨肿瘤影像结构特征或病理切片图像特征，缺失时生成缺失模态数据的补偿特征，补偿对应缺失模态数据的图像特征；基于血液生化文本引导因子对骨肿瘤影像结构特征和病理切片图像特征进行交叉引导融合，得到多模态融合特征；将多模态融合特征经线性分类层计算出各个骨肿瘤类别的概率，得到骨肿瘤分类结果。本发明实现非图像信息对图像特征的有效引导与补充，提升了骨肿瘤分类结果的精确度和可解释性。