摘要
本发明提出一种灾害隐患识别方法、系统、设备及存储介质,该方法包括:获取真实灾害的隐患数据集;将隐患数据集转换为微调的指令提示集,指令提示集包括各种不同类型的灾害样本和标签,灾害样本包括图片和文本;利用指令提示集,对多模态大模型进行微调,得到微调后的多模态大模型;将待识别的灾害图片和灾害文本输入到微调后的多模态大模型中,识别是否存在灾害。本发明通过知识增强、隐患内容和隐喻识别等多种指令数据,利用其微调多模态大模型,提升大模型对隐患判定的生成能力;最后利用提示学习机制,进行自预测的迭代扩充训练以使模型进一步使适应特定任务,从而提升对灾害隐患识别的准确度和效率。
技术关键词
识别方法
多模态
文本
样本
计算机存储介质
循环神经网络模型
指令
卷积神经网络模型
图片
梯度下降算法
标签
冰雪路面
数据采集模块
处理器
传播算法
识别系统
图像
计算机设备
计算方法
系统为您推荐了相关专利信息
交叉注意力机制
线性变换矩阵
视觉
适配器
Softmax函数
地表反射率
反演模型
反演方法
反射率数据
反演土壤
自然语言
约束优化算法
多模态数据采集
分析器
参数
图像边缘特征
滨海湿地
输出特征
编码器
注意力机制