摘要
本发明涉及一种多模态协同学习的胃镜图像半监督分类方法,属于图像处理技术领域。所述方法,将无标签样本的训练过程与标签样本的训练过程分离,提出了一种基于一致性学习、恢复性学习和对齐性学习协同学习的自监督预训练策略。为了在标签样本上实现多模态特征融合,提出了一种基于特征分布漂移的微调策略。为了验证本发明方法的有效性,在两个公开的胃镜图像数据集Kvasir和Kvasir v2上进行了广泛的实验。本发明方法能够在仅使用少量标签数据的情况下对于胃镜图像的分类具有良好的分类性能。
技术关键词
半监督分类方法
胃镜图像
多模态协同
编码器
白光
阶段
字典
计算机程序指令
多模态特征融合
协方差矩阵
融合特征
无标签样本
原型
图像处理技术
定义