摘要
本发明的目的是提供一种基于图的多模态癌症预后评估方法,包含以下步骤:S1、多模态数据预处理,对病理的组织部分切分成patch,提取patch特征,根据细胞迁移连续性,对patch进行围绕式构图。对组学数据经过GSEA富集分类,其中包括癌症5种发展过程;S2、单模态特征,利用模态增强和共享的图掩码自编码器得到模态对应特征;S3、跨模态交互,使用跨模态对齐模块实现多模态数据分布映射对齐;S4、多模态融合,使用Hyperedge‑Mixer模块将跨模态交互特征、各单模态特征融合,获得模态融合特征;S5、风险预测,将最终的多模态表示输入到风险预测模块,最终得到风险预测结果。本发明有效融合病理、基因和临床数据实现癌症预后,利用深度学习技术实现了一个端到端的预后分析框架,具备良好的性能和较强的可解释性,增强临床应用实用性。
技术关键词
癌症预后评估
数字病理图像
多模态
对齐模块
模态特征
队列
融合特征
跨模态
预后预测方法
样本
风险
交互特征
预后预测模型
数据分布
异构
编码器
深度学习技术
组织
系统为您推荐了相关专利信息
特征融合方法
注意力机制
跨模态
特征选择
空间金字塔
企业信用风险评估
实体关联信息
节点特征
多模态
异质
依赖特征
信息采集设备
空天地一体化
监测系统
空中无人机
主动补偿方法
声音传感器
发声
密封套
三维运动数据
智能家居门锁
生物特征验证
多模态生物识别
电磁隔离结构
多路供电电路