一种基于多模态大模型的早产儿视网膜病变识别系统

本发明公开了一种基于多模态数据的早产儿视网膜病变识别系统，涉及计算机、人工智能及图像处理技术领域，包括数据集构建模块，获取眼底图像，并对眼底图像进行预处理，基于预处理得到的眼底图像与结构化提示工程构建数据集；一次训练模块，将数据集输入预设的LLaVA‑v1.5模型中，对LLaVA‑v1.5模型基于LoRA机制进行训练，获取一次训练模型；二次训练模块，构建知识增强思维链，基于知识增强思维链对一次训练模型进行训练，获取识别模型；识别模块，将待识别眼底图像输入识别模型，获取识别结果。本发明提高了一种新型智能诊断系统，整合视网膜图像分析与医学知识推理，实现高精度、可解释的ROP筛查。