摘要
本申请提供了一种面向RPA的多模态实体对齐自动融合方法、设备及介质,涉及多模态实体对齐自动融合领域,方法包括:通过构建的嵌入模型获取实体的各个嵌入表示;将嵌入表示俩俩输入到构建的超网模型进行训练,得到最终融合表示;将最终融合表示输入至损失函数中,结合模拟退火的梯度法,更新超网模型的结构参数以及网络权重,确定最优融合算子;根据最优融合算子调整网络权重,确定融合算子架构,从而确定最优融合模型;获取待测实体的嵌入表示,将嵌入表示输入最优融合模型,确定各个实体的最终融合表示;通过对比各个实体的最终融合表示,对齐自动融合各个实体的多模态信息。引入可微架构搜索,消除了人工设计融合操作的需求。
技术关键词
实体
融合方法
多模态
网络接口
图像处理模块
可读存储介质
设备通信
电子设备
存储器
指令
图谱
超参数
文本
计算机
训练集
处理器
系统为您推荐了相关专利信息
尺寸计算方法
计算机可执行指令
解码模块
像素点
资源受限环境
图像融合方法
亮度直方图
轮廓信息
实时图像
计算机程序指令
车辆轨迹预测方法
车辆轨迹数据
编码模块
车道
前馈神经网络
遥感图像语义分割
编码模块
深度神经网络模块
上采样
自然语音
层位追踪方法
多模态特征融合
矩阵
极值
探地雷达设备