基于多模态大模型的智能家居控制方法及系统

本发明公开一种基于多模态大模型的智能家居控制方法及系统，方法通过改进的多模态大模型对语音、图像及传感器数据执行跨模态特征提取与语义对齐处理，处理基于上下文共享机制与推理逻辑实现多源数据的语义空间映射；利用MCP技术将本地智能家居设备抽象为标准化资源实体，通过协议接口定义设备功能特征集合，并封装为可调用工具链；构建实时数据融合模型，基于实时数据融合模型通过多模态大模型生成控制指令序列；根据控制指令序列调用工具链中的对应工具执行设备操控。本发明解决现有系统依赖单一模态数据易受环境干扰、无统一数据融合框架致新设备接入成本高、控制策略难适应用户行为变化、设备通信协议不同及用户需求匹配度低的问题。