一种多粒度医学文本信息指导的3D多模态融合方法

本发明涉及数据处理技术领域，具体涉及一种多粒度医学文本信息指导的3D多模态融合方法，包括：抽取3D影像与影像报告中的关键描述信息作为输入数据，进行编码从而获得输入数据对应的向量；基于KD进行细粒度层次的图像特征提取与聚合，得到切片层次特征；将基于粗粒度FT得到的切片重要性分数与所述切片层次特征进行相乘，得到最终的整体3D影像特征；融合所述整体3D影像特征、残差数据流特征与完整文本向量得到用于分类的多模态特征，将所述多模态特征送入分类头中得到模型预测输出。本发明弥补了3D医学多模态方法中对文本利用的缺失，解决3D医学影像中存在的细粒度特征难以精准识别、粗粒度冗余难以有效解决的问题，方法设计上不局限于特定疾病。