基于文本标签化的城市治理多模态大模型评估方法及装置

本发明公开了一种基于文本标签化的城市治理多模态大模型评估方法及装置，涉及数据处理以及智慧城市技术领域，获取样本数据，得到样本图片和对应的文本标签，将样本图片输入到模型中，获取模型对应的输出文本，提取输出文本中的对象存在性、分类标签以及目标位置信息，得到结构化字典列表，根据结构化字典列表中的数据以及样本图片对应的文本标签，获取模型在单张样本图片的准确率指标；根据多个单张样本图片的准确率指标，获取模型在样本数据上的综合评估指标。充分考虑了多模态城市治理多模态大模型的对象判断能力、标签分类能力和目标定位能力，克服了纯文本相似度评估指标不可靠的问题，提高了城市治理多模态大模型评估的准确性。