一种区域级检索增强的多视角胸片报告生成方法

本发明公开了一种区域级检索增强的多视角胸片报告生成方法。本发明将多视角胸片影像特征进行两两交叉注意力融合，并进行特征映射作为输入大语言模型的视觉提示。建立含多个语义实体的胸片解剖区域级知识库，每个实体含有解剖区域的区域特征、区域标签、实体描述和病变标签。针对输入的胸片影像采用检测算法得到不同的解剖区域，并从知识库中检索得到相关解剖区域对应实体的文本描述作为大语言模型的文本提示。最后，大语言模型基于视觉提示、文本提示和报告生成指令采用自回归生成方式生成对应的诊断报告。本发明有效地将多视角胸片影像进行特征融合，并有效地将解剖区域级的胸片影像先验知识融合到报告生成过程中，适用于胸片报告生成领域。