摘要
本发明公开了一种基于文本原型引导的医学图像持续学习分类方法,包括:模型训练阶段:构建持续学习框架,包括图像描述生成模块、文本编码器以及视觉编码器;在持续学习框架中,生成特定类别的图像集对应的类别文本原型,利用类别文本原型作为视觉编码器学习的引导信号,并集成梯度加权机制实现适配器融合;推理阶段:任务共享适配器与冻结的VLM文本/视觉编码器共同用于识别来自任何已学习t个任务的测试图像。本发明能够克服大语言模型输出的与疾病症状无关或错误的描述,从而更有效地编码这些自然描述。
技术关键词
学习分类方法
原型
共享适配器
文本编码器
图像编码
集成梯度
医学
数值
矩阵
大语言模型
阶段
框架
参数
机制
元素
模块
信号
系统为您推荐了相关专利信息
钩臂式垃圾车
识别检测方法
整车控制单元
自动泊车
残差网络
视频异常检测方法
视频特征提取
视频帧特征
特征提取器
文本
重识别方法
图像编码器
行人重识别数据
身份
文本编码器