一种基于多模态信息融合的医学报告生成方法及系统

本发明公开了一种基于多模态信息融合的医学报告生成方法及系统，该方法通过对病患的多模态数据分别进行特征提取后，进行融合，并进一步编码疾病状态信息，把疾病状态、疾病名称相关信息结合起来，生成丰富疾病嵌入，输入至采用带多头自注意力和位置编码的 Transformer 解码器生成医学报告，依托文本编码器搭建分类网络，对生成的医学报告进行总结，得到摘要嵌入，并将其分类到相应的疾病状态；并通过损失优化引导生成器，其损失参与总损失计算以确保报告准确。本发明的方法在生成医学报告时，能精准描述症状，避免错漏，给出可靠诊断结论，与临床事实高度相符，能够满足临床诊断需求。