摘要
本申请实施例提出了一种基于多模态模型的环境变迁识别方法和装置,该方法包括:获取同源图像组;调用图像处理单元,对同源图像组的各个实拍图像分别进行特征提取处理,得到第一图像特征,为每两个第一图像特征进行差分处理,确定图源性文本特征信息;调用文本处理单元,根据同源图像组中的实拍图像获取环境描述文本,对环境描述文本进行特征提取处理并提取关键性描述,得到文源性文本特征信息;将图源性文本特征信息和文源性文本特征信息进行注意力机制融合处理,确定综合文本特征,对综合文本特征进行解码并处理,确定环境变迁识别结果;根据上述方法,能够增强多模态模型对变化关键信息的关注度,并提高了环境变迁识别过程的准确性和可靠性。
技术关键词
文本
识别方法
图像处理单元
矩阵
多模态
多头注意力机制
序列
层级
关键性
视觉
源性
编码
识别模块
分词
解码
电子设备
系统为您推荐了相关专利信息
仿体模型
多模态磁共振成像
铁氧化物纳米颗粒
膜片
中空纤维膜
BERT模型
自然语言
关系抽取模型
电子病历
医疗实体识别
冲突识别方法
机动车辆
YOLO算法
多尺度特征融合
数据
自动建模方法
信息提取系统
参数化建模系统
自动建模系统
核实系统