基于多模态数据的新生儿眼底图像分类方法及成像方法

本发明公开了一种基于多模态数据的新生儿眼底图像分类方法及成像方法，包括获取现有的新生儿眼底图像数据并处理构建训练数据集；选取若干新生儿眼底图像进行文本标注；离线状态下提取文本特征并提取对应的图像特征；基于预训练的图像编码器和文本编码器进行文本特征生成器的训练；构建包括了图像预测模块、伪文本预测模块和融合模块的新生儿眼底图像分类初始模型并训练得到训练后的新生儿眼底图像分类模型；采用新生儿眼底图像分类模型进行实际的新生儿眼底图像的分类。本发明不仅能够实现基于多模态数据的新生儿眼底图像分类，而且可靠性更高，精确性更好。