摘要
本申请涉及医学影像处理技术领域,特别涉及一种胸部计算机断层扫描图文大模型构建方法、装置及设备,方法包括:利用预先训练完成的大语言模型从临床报告文本中提取胸部器官的疾病标签,利用预先训练完成的器官模型从三维胸部CT图像数据集中提取胸部器官疾病相关的器官分割掩码,根据疾病标签和器官分割掩码生成表格形式的伪标签;将器官分割掩码作为粗分割标签,根据粗分割标签、伪标签和三维胸部CT图像数据集生成训练数据集,利用训练数据集对视觉编码器进行预训练;根据预训练完成的大语言模型、视觉编码器、多模态投影模块生成胸部CT图文大模型,并利用医学图像的问答任务微调胸部CT图文大模型,得到最终的胸部CT图文大模型。
技术关键词
胸部CT图像
计算机断层扫描
模型构建方法
图文
大语言模型
投影模块
生成训练数据
标签
解码器
分割掩模
上下文特征
CT图像数据
生成表格
多模态
生成疾病
特征提取器
报告
文本
注意力
系统为您推荐了相关专利信息
大语言模型
答案
惩罚策略
非暂态计算机可读存储介质
生成工具
动物呼吸道
数值模型构建方法
组织切片
方程
参数
多智能体协同
自然语言分析
可视化功能
多级校验
非易失性计算机存储介质