摘要
本发明公开一种基于中文大语言模型的医学影像质量控制方法,先使用基于自监督学习的掩码自编码器对视觉编码器进行预训练,使用包含标签的医学影像对模型进行微调,将医学影像输入到预训练的视觉编码器中,得到视觉特征,将影像描述作为文本提示输入基于中文大语言模型的文本编码器中,得到文本特征,将两个特征投射为相同尺寸再进行拼接,得到最终特征,将最终特征输入到使用高效微调方法(LoRA)的中文大语言模型中,得到质量控制报告,进行实体提取,再对实体进行编码,计算其与真实标签编码之间的距离,采用对比学习进行微调。本发明能够用于对2D和3D医学影像进行质量控制。
技术关键词
大语言模型
文本编码器
实体
微调方法
影像
视觉特征
报告
矩阵
编码模块
带标签
重构
解码器
参数
样本
尺寸
图像
系统为您推荐了相关专利信息
大语言模型
置信度阈值
数据标注方法
可读存储介质
存储计算机程序
财务风险预测方法
融合大数据分析
实体关系抽取
非结构化文本
节点