摘要
本发明公开了基于强化学习优化的多模态X光影像诊断报告生成方法,包括以下步骤:获取多源的公开数据集和特定范围的私有数据集;对X光影像进行格式标准化处理,对文本信息进行规范化处理,构建结构化的公开训练数据对和私有强化数据对;采用监督微调的方式,使用所述公开训练数据对训练端到端多模态神经网络;采用GRPO的策略梯度算法优化的方式,使用候选报告和加权奖励对一阶段端到端多模态神经网络进行强化学习,得到二阶段端到端多模态神经网络;利用二阶段端到端多模态神经网络,生成诊断报告。本发明适用于X光影像诊断的个性化应用场景,能够在有限的专业数据基础上快速适应特定的临床需求,具有良好的实用价值和推广前景。
技术关键词
影像诊断报告
文本生成器
生成方法
全局视觉特征
区域位置信息
阶段
梯度算法
数据
多层卷积网络
输出特征
策略
解码器架构
语义层面
大语言模型
格式
注意力
系统为您推荐了相关专利信息
场景生成方法
灰色系统模型
气象历史数据
基础
时序
全局视觉特征
识别模型训练方法
噪声鲁棒
文本编码器
综合性