基于多模态医学数据的胆道闭锁智能诊断方法

本发明提出了一个基于多模态医学数据的智能胆道闭锁识别模型，属于数据处理领域。本在数据预处理阶段对多模态数据进行关键位置信息获取；特征提取阶段通过视觉图像特征编码、数值数据特征编码，为后续模态融合提供基础；模态融合阶段，通过多层级细粒度融合，首先对图像特征创新性地使用掩码自注意力机制进行细粒度融合，再在整体层级上进行多模态融合，有效提升模态缺失下的融合效果，从而有效捕捉模态间和模态内关键特征并交互融合，为高精度预测提供基础。为提高模型训练效率和预测精度，使用多损失训练方式，不仅纳入多模态融合特征损失，还一定比例添加单模态计算的损失。最后通过训练模型权重进行胆道闭锁的智能识别预测。