摘要
本申请提供一种应用于设备检测的数据处理方法、装置、设备及程序产品。方案具体构建包含图像编码器、文本编码器、特征融合器和检测器的目标检测模型。在目标检测模型的训练过程中,首先,通过图像编码器对目标设备的样本图像进行编码,提取出目标设备的图像特征;同时,利用文本编码器对目标设备的描述性文本进行语义编码,生成语义描述特征。接着,特征融合器将图像特征与语义描述特征进行双向对齐编码,生成增强的图像特征和语义描述特征。这些增强特征被用作检测器的输入条件,结合样本图像对应的标签(目标设备类型和检测框位置),对检测器进行训练,从而深度融合语义信息特征与视觉特征,以提供按设备检测的准确性。
技术关键词
交叉注意力机制
文本编码器
图像编码器
检测器
数据处理方法
样本
解码器
融合器
融合语义信息
存储计算机可执行指令
计算机程序产品
参数
前馈神经网络
模型训练模块
系统为您推荐了相关专利信息
分类预测模型
概念
分类预测方法
多模态
协方差矩阵
沉降监测系统
水管式沉降仪
堆石坝
传感器
数据处理方法
智能评估方法
卷积神经网络模型
权重模型
Softmax函数
加速模型训练