摘要
本发明展示了一种基于跨模态技术的肺部X光片诊断报告自动生成平台,该平台基于Django框架构建,实现了前后端分离,并通过以下步骤进行操作:S1:用户登录;S2:模型选择;S3:数据上传;S4:结果反馈。此平台在选择模型阶段提供了三种针对肺部X光片的跨模态模型:R2GenCMN生成诊断报告模型、XPRONET诊断与标注模型以及MedCLIP疾病分析模型。用户根据选择的模型上传不同的数据:R2GenCMN模型需要正面和侧面的X光图像来生成诊断报告;XPRONET模型除了要求上传X光片的正侧面图像外,还需附带疾病标签以生成详细的诊断报告;MedCLIP模型仅需要正面的X光图像即可分析出各种疾病的可能性得分。该平台为医疗专业人士及非专业用户提供了一种高效、便捷的肺部X光诊断手段。
技术关键词
生成平台
视觉特征
生成报告
跨模态
图像
记忆
解码器框架
Django框架
文本编码器
疾病
矩阵
语义标签
原型
正面
系统为您推荐了相关专利信息
恢复系统
卷积模块
场景
横向连接结构
深度卷积神经网络
细胞识别方法
转录组学
数据
多模态特征融合
切片
电力系统监控
编码块
编码优化方法
视觉注意力网络
高频特征
贝叶斯神经网络
基线
小区间
样本
神经网络模型训练