一种基于中层模态融合的眼底疾病预测深度学习网络

本发明公开了一种基于中层模态融合的眼底疾病预测深度学习网络，属于医学图像智能分析与多模态深度学习，步骤1、选取两种模态信息，2、将模态信息输入嵌入层，将每个模态信息转换为token序列，3、将序列输入双向注意力机制层，分别学习两种模态信息和序列的关联，4、分别将模态信息和序列融合，将融合后的信息和序列输入自注意力机制层，5、在自注意力机制层得到最终token，6、将所有最终token输入全局平均池化层，得到z，7、将z输入MLP层得到最终的预测概率，完成眼底疾病预测，本发明通过上述步骤，在中层特征级进行信息融合、兼顾高效性与准确性的深度学习方法，提升眼底疾病预测的智能化水平。