一种从腹腔镜手术图像获取长文本描述的生成与评估方法

本发明公开了一种从腹腔镜手术图像获取长文本描述的生成与评估方法，包括：构造包含腹腔镜手术图像、短文本描述、目标边界框和手术知识的提示词，基于该提示词利用大语言模型构建长文本描述数据；构建图像长文本描述生成模型，包含预训练的视觉编码器、视觉特征查询变换器、语言解码器和外部手术概念向量数据库；使用长文本描述数据对图像长文本描述生成模型进行有监督训练；构建长文本描述评估方法对训练好的模型进行评估；通过腹腔镜图像系统获取输入的腹腔镜图像视频流，筛选关键帧作为待处理图像；将待处理的图像输入训练、评估后的模型，得到图像长文本描述结果。本发明可以增强对图像中手术细节的理解能力，生成更全面的手术图像描述。