摘要
本发明涉及智能控制技术领域,具体涉及一种基于多模态的智能家居控制方法、系统,包括以下步骤:S1,同步采集用户的语音流与动作视频流,分别提取语音指令的语义锚点及动作轨迹的空间锚点;S2,构建虚拟时间轴,将所述语义锚点与空间锚点映射至统一时空坐标系,并基于环境语义场对映射结果进行锚点纠偏,生成对齐指令集;S3,根据设备空间拓扑关系,对所述对齐指令集进行意图融合,生成设备控制指令并触发执行。本发明,提升对模糊指令或误指行为的容错性与执行合理性,尤其适用于多设备密集、环境动态变化频繁的家庭场景,显著增强了系统的实用性和智能化水平。
技术关键词
智能家居控制方法
锚点
多模态
语义
手部关键点
空间拓扑关系
视频流
指令
坐标系
分布式麦克风
智能家居控制系统
拓扑网络
语音
意图
生成设备
设备组
智能设备
智能控制技术
指向设备
调节类
系统为您推荐了相关专利信息
大语言模型
排序模型
排序技术
词袋模型
滑动窗口
图像修复方法
级联
卷积解码器
卷积编码器
注意力
图像分类方法
高维特征向量
语义
图像分类模型
样本
全息教学
Solidity智能合约
资源共享
模糊逻辑控制器
分布式计算框架
图像语义分割方法
面向无人机
编码器
融合特征
生成上下文感知