摘要
本发明提供了一种基于级联标记的城市多模态大模型构建方法及系统,涉及智慧城市相关技术领域,所述城市多模态大模型构建方法包括以下步骤:S1、通过通用多模态大模型对城市训练数据集中城市街景图片进行推理,并对推理结果进行级联标记得到带有标记的文本标签;S2、将城市街景图片和对应的带有标记的文本标签作为第一训练样本输入至初始城市多模态大模型进行第一阶段训练;S3、将带有标记的文本标签按照标记拆分为四个问答对话,将按照随机乱序的四个问答对话作为第二训练样本输入至第一阶段训练后的城市多模态大模型进行第二阶段训练;S4、以标记量化得分作为评估指标对第二阶段训练后的城市多模态大模型进行模型评估。
技术关键词
多模态
模型构建方法
文本
街景图片
标记
级联
标签
模型构建系统
多轮对话
数据
格式
座位
指标
模块
单轮
语句