摘要
本申请实施例提供一种开放词汇检测模型的训练方法、装置和电子设备。开放词汇检测模型的训练方法包括:获取样本数据;样本数据包括样本图像、样本文本和标签信息,将样本数据输入待训练的神经网络模型中,提取样本文本的文本特征信息和样本图像的图像特征信息;根据图像特征信息生成动态文本提示信息;将文本特征信息和动态文本提示信息进行融合处理,得到语义融合特征信息;根据语义融合特征信息对样本图像中的对象进行预测;根据对象预测结果、标签信息、文本特征信息、动态文本提示信息和语义融合特征信息,对神经网络模型进行迭代训练,得到开放词汇检测模型。本申请能够提升开放词汇检测模型的上下文感知、语义泛化及细粒度理解能力。
技术关键词
神经网络模型
融合特征
图像特征信息
样本
语义
动态
对象检测
标签
文本编码器
检测损失
预测类别
电子设备
数据
训练装置
重构
存储器
处理器
系统为您推荐了相关专利信息
动态分配方法
管片结构
群智能优化算法
盾构机
推进油缸
网络流量预测
异常检测方法
节点
重构误差
模型剪枝