一种基于多模态数据融合的巡店督导方法和系统

本发明公开一种基于多模态数据融合的巡店督导方法和系统，涉及人工智能技术领域；包括：步骤1：在巡店过程中，针对店内货架陈列情况、产品摆放情况和客流量进行多模态数据采集，步骤2：对多模态数据进行处理：结合计算机视觉技术和自然语言处理技术提取图像数据的特征，结合语音识别技术和自然语言处理技术提取语音数据的音频特征和语义特征，步骤3：将图像数据的特征、语音数据的音频特征和语义特征进行融合，获得融合后的多模态特征，利用深度学习模型中多模态神经网络根据图像数据的特征、语音数据的音频特征和语义特征联合训练识别模型，步骤4：利用识别模型基于融合后的多模态特征进行问题检测，步骤5：根据问题检测的结果，自动生成巡店报告。