摘要
本发明公开了一种结构熵引导的食管癌多模态数据判别性表示学习方法,属于医学影像工程技术领域和语义理解领域。本发明方法包括:采集食管癌多模态数据并执行预处理操作;构建基于结构熵的正则化框架;将预处理后的食管癌多模态数输入构建的基于结构熵的正则化框架,基于结构熵进行单模态任务分类聚类;构建结构熵引导的无监督多模态聚类框架,将预处理后的食管癌多模态数输入结构熵引导的无监督多模态聚类框架进行多模态数据聚类,完成食管癌多模态数据判别性表示学习。本发明引入结构熵理论,构建三层编码树,解决了传统方法对食管癌数据结构信息利用不足的问题,通过针对不同任务设计不同策略解决了无监督或半监督场景下的“表示坍缩”问题。
技术关键词
多模态
学习方法
聚类
文本
数据
跨模态
语义
框架
样本
节点
输入结构
表达式
编码
中间层
模态特征
注意力机制
矩阵
声学特征
视觉特征
标签