摘要
本发明属于病理学图像分类领域,具体涉及一种基于多模态特征的癌症细胞识别方法,包括:获取待识别的病理图像数据;根据病理图像数据获取病理学图像切片数据,并对病理学图像切片数据进行特征提取,得到图像特征;根据病理图像数据获取病理学图像转录组学基因数据,并对转录组学基因数据进行特征提取,得到转录组学数据特征;将图像特征和转录组学数据特征输入到训练后的癌症细胞识别模型中,得到癌症细胞识别结果;本发明有效克服模态间的语义差异本发明的多模态学习框架,特别是在晚期融合中,能够有效解决病理图像和转录组学数据之间的语义差异问题。
技术关键词
细胞识别方法
转录组学
数据
多模态特征融合
切片
基因
融合注意力机制
联合损失函数
滑动窗口
特征提取网络
样本
图像编码
多实例
融合特征
分块