摘要
本发明涉及异构跨模态融合技术领域,公开了一种基于异构跨模态融合的肺栓塞辅助诊断方法与系统,包括以下模块:影像模块,结合Swin Transformer和改进版3D CNN模型以提取特征;极化自注意力模块,用于高效处理高分辨率3D输入特征,减少计算开销;多尺度特征融合模块,集成SE模块通道特征提取、ASPP模块多尺度特征提取及3D卷积空间特征提取;EHR模块,从电子健康记录中提取特征;融合模块,由多模态融合模块MAFM组成,负责从影像和EHR模块中提取关键特征并进行融合,提升诊断效果。通过并行网络和多模态融合机制,本发明显著提高了肺栓塞的诊断精度与鲁棒性。
技术关键词
辅助诊断系统
跨模态
辅助诊断方法
多尺度特征融合
多模态注意力
表格特征
电子健康记录
异构
空间特征提取
影像模块
注意力机制
Softmax函数
信息数据处理终端
非线性
空间金字塔池化
变换器
矩阵
特征提取模型