基于扩散模型的细粒度图像聚类模型的训练方法及细粒度图像聚类方法

本发明公开了基于扩散模型的细粒度图像聚类模型的训练方法及细粒度图像聚类方法。本训练方法通过预训练的扩散模型先对细粒度图像聚类模型的语义提取器进行训练，并在训练过程中通过注意力机制形成去背景的蒙板，可以对扩散目标进行规范化，帮助文本条件精确聚焦于对象语义，实现对语义提取器的快速预优化；在语义提取器先进行单独优化后，再加入聚类损失对细粒度图像聚类模型的语义提取器和聚类头共同进行训练优化，可以使语义提取器得到的代理词与聚类目标对齐，实现有效图像分组。本训练方法无需进行数据增广，同时解决了冗余背景信息过多的问题，使得训练后的细粒度图像聚类模型可以准确进行细粒度图像聚类。