一种基于交换的多模态多尺度变换融合方法和系统

本发明公开了一种基于交换的多模态多尺度变换融合方法和系统，该方法包括：获取原始图像数据和原始文本数据并输入MMTF模型，生成融合结果，其中，MMTF模型包括：多模态编码器模块、解码器模块、基于通道的信息交换模块和多尺度融合模块，多模态编码器模块包括文本编码器和双分支图像解码器；解码器模块对编码器生成的嵌入进行解码；基于通道的信息交换模块对不同通道上的不同模态的嵌入进行信息交换；多尺度融合模块，用于根据不同分支上的图像特征和文本特征，融合来自一个分支的cls令牌和来自另一个分支中的补丁令牌。本发明的方法可以在各种医疗环境中提供可靠的决策支持，提高诊断准确性并减少临床医生的工作量。