基于端侧大模型的多维感知系统、装置和方法

本发明公开了基于端侧大模型的多维感知系统、装置和方法，其中方法包括：实时获取多模态传感器数据，包括环境数据、音频数据及视觉运动数据；基于各传感器的信号变化量、历史标准差及预设环境权重，结合时间周期因子计算环境异常指数；基于音频数据与视觉运动数据的互相关值、视觉运动信息熵及人员存在概率计算用户意图置信度；当所述环境异常指数大于预设安全阈值，或所述用户意图置信度大于预设意图阈值时，触发端侧大模型对多模态传感器数据进行分析并生成控制指令。本发明涉及多维感知技术领域，解决了智能家居场景中因大模型实时推理导致的设备能耗过高及安全隐患预警滞后的技术问题。