多模态聚类方法、装置、设备、存储介质及产品

本申请涉及数据处理与机器学习技术领域，公开了一种多模态聚类方法、装置、设备、存储介质及产品，该方法包括：基于自编码器和重建损失，确定原始多模态数据的特有表征，基于特有表征，通过自适应平均池化操作和期望最大化算法获得聚类原型，并根据交叉注意力机制和聚类原型，生成原始多模态数据的共有表征，对特有表征和共有表征进行对比学习，获得对齐后共有表征，并对对齐后共有表征进行聚类，获得原始多模态数据的聚类标签。本申请通过自编码器提取特有表征，采用自适应平均池化操作和期望最大化算法动态调整聚类原型的表示，基于交叉注意力机制和聚类原型生成共有表征，从而获得聚类标签，增强了模型数据区分能力，提高了聚类标签准确性。