多模态感知融合的人机交互智能识别系统

本发明公开了多模态感知融合的人机交互智能识别系统，具体涉及人机交互智能识别技术领域，通过引入模态置信度失衡系数与模态缺失检测延迟系数，构建融合迟滞漂移失效模型，实现对多模态融合策略潜在风险的实时量化评估，首先利用模态置信度失衡系数动态反映各模态之间贡献信任度的分布状况，避免“异常模态误主导”所带来的错误决策风险；其次通过对模态数据链路进行实时缺失检测并计算模态缺失检测延迟系数，量化从模态真实失效到系统捕捉该失效所需的时间间隔，将二者耦合后输出的融合迟滞漂移失效耦合指数作为衡量当前融合策略潜在漂移失效风险的关键指标，在指数超过预设阈值时及时触发融合策略动态预警模块，对人机交互操作发出风险提示。