摘要
本发明公开了一种基于多模态的应急信息生成方法、装置、电子设备及介质,用于解决当前应急信息生成方式适用性及针对性较差,在信息更新频率和内容精准性上受限,难以满足实时性和个性化需求的问题。所述方法包括:获取应急相关图文数据与通用任务数据集,并对应急相关图文数据进行多模态数据筛选与扩写,获得图文问答对数据;根据图文问答对数据,构建基于思维链知识蒸馏的图文指令精调数据;根据图文指令精调数据与通用任务数据集对预先构建的初始多模态应急模型进行二次指令精调,获得多模态应急垂域模型;通过多模态应急垂域模型,对用户输入的应急相关查询信息进行基于检索增强的识图分析,并生成应急相关答复信息。
技术关键词
多模态
问答对数据
信息生成方法
图像
文本
指令
生成图文
大语言模型
存储程序代码
蒸馏
关键词
资料
信息生成装置
分析单元
电子设备
可读存储介质
生成方式
信息更新
系统为您推荐了相关专利信息
长短记忆网络
记忆单元
多通道特征
玉米病虫害
监测方法
识别基板
光学检测系统
标记
SMT贴片机
镭射装置
知识构建方法
资源库
长短期记忆网络
命名实体识别模型
自然语言
干扰分析方法
报警策略
高精度DEM数据
空间拓扑关系
全息三维
三维点云数据
特征提取单元
热红外传感器
估计方法
可见光传感器