基于微调多模态大模型的胃镜诊疗报告生成方法及系统

本发明提出了基于微调多模态大模型的胃镜诊疗报告生成方法及系统，属于医学图像处理技术与自然处理技术领域，包括：获取第一阶段数据集的胃肠道的图像文本对数据作为第一阶段微调数据集；采用所述第一阶段微调数据集对多模态大模型进行第一阶段微调得到第一阶段微调模型；获取第二阶段数据集的胃肠道的图像文本对数据并进行模板化处理得到第二阶段微调数据集；采用所述第二阶段微调数据集对所述第一阶段微调模型进行第二阶段微调得到第二阶段微调模型；将待诊疗的胃镜图像输入所述第二阶段微调模型，并给予第二阶段微调模型诊疗问题，生成胃镜诊疗报告。本发明有效的提升了模型生成胃镜诊疗报告的有效性和准确性。