一种基于零样本学习的非限定类别计数系统及方法

本发明公开了一种基于零样本学习的非限定类别计数系统及方法，属于图像处理领域，包括相互连接的主干网络，三元自注意模块和跨模态精炼融合模块，将任意场景的RGB图像与对应的文本提示输入至主干网络进行特征提取，得到图像特征与文本特征；将RGB图像、文本提示输入、图像特征与文本特征输入至三元自注意模块中，得到自感知图像特征、自感知文本特征与精炼文本特征；将自感知图像特征、自感知文本特征精炼文本特征输入至跨模态精炼融合模块中，得到跨模态的自关注模型参数与多模态自感知特征图；将多模态自感知特征图输入至解码器进行特征还原解码，得到计数密度图；将计数密度图像素值求和，得到指定类别的计数结果。本发明可以更便捷的实现计数操作，存在更广泛的普适性与通用性。