一种基于患者特异性先验知识的放射学报告自动生成方法、系统、设备及介质

一种基于患者特异性先验知识的放射学报告自动生成方法、系统、设备及介质，利用特殊token表示缺失的患者临床上下文信息，使文本编码器能够统一处理完整与不完整的临床上下文输入，进而提取鲁棒的临床上下文特征；构建时空融合网络STF，整合患者既往医学影像，建立当前影像与历史影像之间的差异映射关系，用于建模疾病的演化过程，提取具有时间依赖性的时空视觉特征；建立注意力增强的层级融合网络，用于融合视觉编码器中多层隐藏状态，以提取多层次、语义丰富的层次化视觉特征；引入先验感知的渐进式融合网络，以粗到细的方式逐步融合患者特异性先验知识与层次化视觉特征，用于生成面向放射学报告生成的多模态特征；设计两阶段训练策略：第一阶段以图文对齐为目标，提升医学图文检索的准确性；第二阶段以放射学报告生成为目标，优化文本解码器，提升所生成放射学报告在临床语义准确性与语言表达质量方面的表现。