一种轻量级空间适配器增强的医学报告生成方法

本发明公开了一种轻量级空间适配器增强的医学报告生成方法。本发明步骤:1、全局视觉编码器提取全局空间特征。2、空间适配器：将来自卷积骨干网络的局部空间特征与来自视觉Transformer的全局特征通过空间适配器中的空间注入器和特征提取器进行多轮迭代更新，获取与报告生成最相关的视觉信息。3、构建跨媒体预训练：用于更好地对齐图像和文本模态。4、构建报告解码器，利用空间适配器输出的视觉特征，来生成医学图像诊断报告。本发明能够正确且有效地理解医学图像的内容，并准确地捕捉到图像中的异常区域，同时构建轻量级且高效的跨媒体医学报告生成框架，从而提升答案预测的准确性。且在更少的可训练参数量下，得到与现有方法相当甚至更好的结果。