摘要
本申请提供一种设备控制方法、装置、设备及介质,所述方法包括:获取目标设备对应的设备图像;对设备图像进行批注,获得与设备图像对应的文本对;根据设备图像与文本对进行功能识别,获得设备图像对应的设备功能信息;根据设备图像与设备功能信息进行特征提取,获得与目标设备对应的多模态设备功能特征;构建与多模态设备功能特征对应的设备功能多模态知识图谱,设备功能多模态知识图谱用于对目标设备进行设备控制,本申请基于多模态信息构建了关于设备功能的多模态知识图谱,通过多模态知识图谱精准识别出设备功能,进而对设备进行控制,实现利用多模态检索实现设备功能的识别,提升了设备功能控制的准确性。
技术关键词
设备控制方法
设备功能控制
设备控制装置
知识图谱构建
多模态信息
通信接口
文本编码器
图像编码器
处理器
图像采集模块
存储器
识别模块
可读存储介质
电子设备