基于视觉协同增强和跨模态融合网络的放射学报告生成方法及系统

本发明公开了基于视觉协同增强和跨模态融合网络的放射学报告生成方法及系统，属于自然语言处理的技术领域。本发明设计了一个视觉协同增强模块分别从全局和局部视角对视觉特征进行建模，以增强对放射学图像中异常病变的识别，从而缓解因数据分布不平衡而导致的对异常区域的注意力偏差。同时，提出了一个跨模态信息融合器，该模块利用一个新颖的双重跨模态通信组件去促进视觉和文本信息的多级融合，解决模态异构问题，实现语义级特征对齐和细化。本发明解决了放射学图像中数据分布不平衡导致模型无法捕获关键的病灶特征的问题，以及图像和文本信息不同模态信息的特征空间存在差异性，难以有效对齐和融合的问题。