一种基于周期性跨模态对齐的医学影像报告生成方法

本发明涉及深度学习、自然语言处理、跨模态对齐、图像字幕等技术，并公开了一种基于周期性跨模态对齐的医学影像报告生成方法。该方法构建图像文本对应关系，并采用自适应注意因子，通过多层感知器学习和改进单词与图像区域之间的对应关系。同时使用相似度得分评估每个单词的重要性，确保模型能够更好地选择和加权单词，以提高报告生成的质量。在此基础上，模型引入了循环周期，允许模型多次迭代对齐操作，以进一步提高模型性能。最终，将循环跨模态对齐更新后的文本特征与图像特征拼接，用于生成医学报告。本发明的技术方案弥合了医学影像报告生成领域的视觉与语言之间的鸿沟，为解决这一难题提供了一种创新方法。