一种面向异构模型的多粒度分层语义树构建方法

本发明公开了一种面向异构模型的多粒度分层语义树构建方法，包括：生成图像特征向量集；根据图像和样本标签形成分层语义树的底层；基于聚类法根据图像特征向量和WordNet数据集构建代表语义空间；利用MLP模型分类图像确认图像中心，生成语义中心集；将图像和语义中心集名词间的映射关系描述为OT问题，以传输成本最小化为目标求解得到映射概率，生成图像伪标签；更新MLP模型的权重，构建损失函数，优化MLP模型；基于优化的MLP模型生成最优分类结果，CLIP模型基于最优分类结果生成图像标签，基于图像标签构建分层语义树最底层的上一层；按照上述方法依次构建其它层。本发明有助于实现最大化异构模型协同训练的最大潜力。