基于人工智能的故障识别和处理方法、装置、设备及介质

本发明涉及人工智能技术领域，可应用于智能家居、医疗健康等业务系统平台中，公开了一种基于人工智能的故障识别和处理方法，包括：通过图像和音频信息获取智能机器人执行任务的多模态信息，基于图像和音频信息构建任务场景图并生成音频事件标签，识别图像关键帧并创建关键场景文本描述，利用大语言模型分析关键场景文本描述和音频事件标签，识别子任务完成情况并检测故障，若无故障，则对机器人任务执行结果进行故障检测，若发现故障则结合任务描述和任务计划进行错误识别，根据故障分析或错误识别结果，生成故障纠正任务供智能机器人执行。本发明通过上述方法将智能机器人的状态信息转换为易于理解的文本描述以定位故障原因并进行纠正。