摘要
一种基于视觉思维链的胸部X光影像跨模态分析方法,包括以下步骤:S1、获取和预处理原始数据;原始数据包括CXR影像和CXR影像对应的诊断报告;S2、将诊断报告拆解为独立诊断语句;S3、对独立诊断语句标注注释信息;S4、根据生成推理链的分解步骤构建视觉思维链生成模型;S5、训练视觉思维链生成模型的分割模块、文本生成模块;S6、建立统一模态表示结构,以融合视觉线索和文本线索;S7、微调视觉思维链生成模型;S8、根据训练好的视觉思维链生成模型,生成包含问题、推理步骤和答案的矩阵表。本发明通过将胸部X线影像的分析过程分解为多个可解释的推理步骤,并结合视觉与文本的交互来模拟医生的分析思路,从而提高分析结果的可解释性和准确性。
技术关键词
线索
跨模态
分析方法
文本
影像
融合视觉
变分自动编码器
语句
报告
图像分割
GAN模型
大语言模型
标签类别
标注工具
计算机视觉
模块
答案
解码器
系统为您推荐了相关专利信息
新型学习方法
智能推荐算法
项目
分析单元
多模态
自动识别方法
工程图纸
模板
文本识别模型
图像分类算法
ETC门架
车辆行驶轨迹
路网拓扑结构
分析方法
路段