摘要
本公开提出一种多模态语义分析方法、装置和设备及存储介质,涉及人工智能领域。通过异质编码器组实现模态特异性特征提取,依托动态专家网络完成跨模态特征解耦与语义关联建模,通过层次化解码器对融合特征解码输出结构化语义表征。改善多模态数据的语义冲突与特征耦合难题。
技术关键词
网络
融合特征
语义分析方法
多模态特征
跨模态
语音编码器
文本编码器
图像编码器
语音特征
融合图像特征
异质
数据
错误实体
系统为您推荐了相关专利信息
采动应力监测系统
煤矿工作面
三向应力传感器
无线传感节点
数字孪生模型
爆炸风险评估
电化学储能电池
热阻网络模型
电池组
产气
维修训练系统
网络传输模块
控制面板
信号测试点
编辑
设备故障检测
电力设备缺陷
文本
融合图像信息
多模态