一种基于神经网络的医学影像报告生成方法及系统

本发明公开了一种基于神经网络的医学影像报告生成方法及系统，属于计算机视觉与自然语言处理技术领域。本发明在图像特征提取方面，采用EfficientDet网络的图像编码器来高效地提取图像特征；该图像编码器能够精准捕捉图像中的关键信息，为后续的报告生成提供坚实的数据基础；本发明解码器的BiLSTM网络和精炼模块之间创新性地引入反馈注意力机制，显著优化了信息的传递与处理过程，使模型可以更加聚焦于重要特征，从而有效提高医学影像报告自动生成的质量；在词嵌入时采用双轨词嵌入技术，把原始报告输入大模型取得优化语句后，优化后的文本与医学图像对应的原始文本词向量分不同阶段顺序送入解码器，大幅提升生成文本的可读性，进一步提升了生成报告的准确性和流畅性。