基于文本多层次的城市治理多模态大模型评估方法及装置

本发明公开了一种基于文本多层次的城市治理多模态大模型评估方法及装置，包括以下步骤：获取样本图片的真实标签文本和城市治理多模态大模型输出文本；采用城市管理词库将文本切分为独立词汇，计算词汇单元相似度分数；采用城市管理词库创建词袋模型将文本数据转换成词频矩阵，计算低层词频相似度分数；采用已训练语言模型提取文本中带有上下文语境的语义特征并转换成向量表示，计算语义相似度分数；采用带有业务引导词和评估要求的格式化请求通用大语言模型，得出文本对应的高层语义相似度分数；结合各层次相似度分数，计算多模态大模型的综合评估得分。本发明充分考虑了文本多层次空间下的相似度量，提高了城市治理大模型文本输出评估的准确性。