基于多模态信息的设备控制方法及装置、存储介质及电子装置

本申请公开了一种基于多模态信息的设备控制方法及装置、存储介质及电子装置，涉及智慧家庭技术领域，该方法包括：通过预设识别模型识别出用户的语音信号对应的语义信息，对语义信息和元数据分别进行特征编码，得到第一特征向量和第二特征向量；通过语义信息确定目标权重调整策略，得到调整了融合权重后的第二特征向量；融合第一特征向量和调整了融合权重后的第二特征向量，以确定语音信号和第一视觉媒体数据的匹配得分，并按照匹配得分通过第一设备显示第一视觉媒体数据中与语音信号匹配的第二视觉媒体数据；对第二视觉媒体数据中的第三视觉媒体数据进行解析，得到第三视觉媒体数据对应的指令集合，并按照指令集合控制第二设备。