一种基于分级注意力融合的多模态超声预测方法

本发明公开了一种基于分级注意力融合的多模态超声预测方法，属于医学信息处理领域，本发明预测方法包括步骤如下，首先利用Swin Transformer V2分别提取每种模态的超声影像特征；其次，将四种模态的超声影像特征进行拼接后，输入到构建的超声自注意力与卷积融合模块，实现多模态‑多尺度特征的粗融合；采用设计的多模态交叉注意力融合模块实现全局‑局部信息的分级融合，实现多模态信息的精细融合；最后，将最终的交叉注意力融合特征输入到分类器，进一步输出肿瘤预测结果。本发明实现了基于分级注意力融合模型在超声影像上进行肿瘤预测的应用，显著提升了肿瘤诊断的准确率与鲁棒性，具备临床推广应用价值。