一种基于多模态数据知识对齐融合的数据处理方法与装置

本发明提供了一种基于多模态数据知识对齐融合的数据处理方法与装置，包括：对待融合图像对中的原始MR扫描图像和原始PET扫描图像进行预处理，得到对齐的待融合图像对；将对齐的待融合图像对输入训练好的孪生神经网络，得到待融合图像对匹配的权重图；对对齐的待融合图像对进行MST分解，得到低频系数矩阵和高频系数矩阵；基于权重图分别对低频系数矩阵和高频系数矩阵进行融合，并对融合低频系数矩阵和融合高频系数矩阵集进行MST重建以得到目标融合图像，能够提高融合图像的精度。