摘要
本发明提出了一种基于多模态蒸馏引导的WSI长尾数据识别方法、装置及其可读存储介质,针对数字病理全图图像(WSI)在弱监督多实例学习中因长尾分布导致的尾部类别识别准确率低问题,本发明通过双分支集成多实例学习、文本特征提取与提示生成及多模态蒸馏优化实现性能提升。双分支分别采用均衡分布与原始长尾分布数据训练,共享聚合器并约束预测一致性;生成含语义提示的文本特征作为监督信号,通过图文对比损失实现语义对齐;设计软硬标签协同的蒸馏损失,结合一致性损失构建总损失函数。实验表明,该算法能显著提升尾部类别及整体识别性能,通用性强,可适配多种多实例学习方法,为病理图像智能分析提供可靠技术支撑。
技术关键词
数据识别方法
多模态
蒸馏
多实例
标签
文本编码器
分支
语义特征
可读存储介质
图像智能分析
数据识别装置
图文
分类器
损失函数优化
图像块特征
推理架构
教师
系统为您推荐了相关专利信息
异常检测方法
点云特征提取
蒸馏
遮挡关系
特征提取模块
面向旋转机械
交叉分类器
平稳工况
故障诊断模型
故障诊断方法
LF精炼工艺
启发式搜索
卷积功能
模型训练方法
网络
图像分类方法
训练样本集
机器学习分类器
多级分类器
图像分类模型训练