基于胶囊内窥镜的医学报告自动生成方法及系统

本申请公开了基于胶囊内窥镜的医学报告自动生成方法及系统，包括：获取胶囊内窥镜视频，并剔除胶囊内窥镜视频的冗余帧，得到若干个代表帧；将各代表帧输入预设的检测模型，确定初始关键帧和分类结果，并利用分类结果对初始关键帧进行精缩，得到若干个目标关键帧；将各目标关键帧输入预设的多模态模型，提取对应的第一视觉特征，并将第一视觉特征与文本特征进行拼接，得到初始文本描述，对初始文本描述进行迭代预测，直至满足第一迭代终止条件，输出目标文本描述；将目标文本描述输入大语言模型，利用自回归方法逐步预测第一分词序列，直至满足第二迭代终止条件，基于第二分词序列生成对应的结构化医学报告。本申请可以自动化生成诊断报告。