摘要
本发明主要用于计算机视觉技术领域。本发明公开了一种医学影像报告生成方法、装置、电子设备及存储介质,该方法包括:获取输入图像,并对输入图像进行特征提取,以得到视觉特征;获取多个模板文本,并对每个模板文本进行特征提取,以得到多个文本特征;基于视觉特征和多个文本特征,确定线索文本特征,其中,线索文本特征为多个文本特征中与视觉特征的关联程度最高的文本特征;将视觉特征和线索文本特征作为用于训练预设大语言模型的输入特征,并对预设大语言模型进行微调;获取待识别的医学图像,并通过微调后的预设大语言模型,对待识别的医学图像进行识别后生成医学影像报告。本申请技术方案能够生成高质量的医学影像报告。
技术关键词
报告生成方法
大语言模型
线索
文本编码器
融合视觉特征
图像
令牌
关系
疾病
模板
报告生成装置
标记
医学
电子设备
样本
计算机视觉技术
特征值