多图像融合的诊断报告生成方法、模型训练方法及设备

本发明公开了多图像融合的诊断报告生成方法、模型训练方法及设备，模型训练方法包括以下步骤：采集不同部位的共聚焦显微内镜图像以及对应的白光内镜图像和诊断报告，建立数据集；构建包括图像解码模块和文本生成模块的诊断报告生成模型；基于数据集对所述诊断报告生成模型进行训练，直至达到预设收敛条件；所述图像解码模块用于生成局部特征向量和整体特征向量的融合结果，所述文本生成模块用于生成融合结果对应的第一主题向量，并将第一主题向量和先验知识对应的第二主题向量进行语句合并，生成诊断报告。本发明不仅减轻了医生负担，提升了诊断速度，而且可以避免遗漏、误判等情况，提高了诊断报告的准确性。