摘要
一种基于视觉思维链的胸部X光影像跨模态分析方法,包括以下步骤:S1、获取和预处理原始数据;原始数据包括CXR影像和CXR影像对应的诊断报告;S2、将诊断报告拆解为独立诊断语句;S3、对独立诊断语句标注注释信息;S4、根据生成推理链的分解步骤构建视觉思维链生成模型;S5、训练视觉思维链生成模型的分割模块、文本生成模块;S6、建立统一模态表示结构,以融合视觉线索和文本线索;S7、微调视觉思维链生成模型;S8、根据训练好的视觉思维链生成模型,生成包含问题、推理步骤和答案的矩阵表。本发明通过将胸部X线影像的分析过程分解为多个可解释的推理步骤,并结合视觉与文本的交互来模拟医生的分析思路,从而提高分析结果的可解释性和准确性。
技术关键词
线索
跨模态
分析方法
文本
影像
融合视觉
变分自动编码器
语句
报告
图像分割
GAN模型
大语言模型
标签类别
标注工具
计算机视觉
模块
答案
解码器
系统为您推荐了相关专利信息
成型检测方法
错误率
产品特征信息
碳酸钙
X射线荧光分析方法
Word2Vec模型
工业泵
故障智能诊断方法
融合知识图谱
实体
声纹识别方法
声纹识别模型
声纹特征
文本
计算机可读程序