一种基于疾病状态检索提示的多视角胸片报告生成方法

本发明提供一种基于疾病状态检索提示的多视角胸片报告生成方法。本发明使用多模态语言模型作为文本生成解码器，使用医学图像编码器编码正位胸片影像和侧位胸片影像，将编码后的图像特征进行融合作为多模态语言模型的图像输入，并将检索得到的疾病状态信息进行融合作为多模态语言模型的文本输入，两者共同驱动报告生成过程。本发明有效地结合了正位胸片与侧位胸片的互补信息，在细粒度特征捕捉方面有更高的准确性。本发明通过对检索到的疾病状态信息分配权重并加权融合，提示信息既能保留多样化的临床语义，又能更好地突出与当前胸片影像密切相关的部分，有效降低了无关或噪声信息对报告生成的干扰。