一种基于多模态数据融合智能售卖机监测方法及系统

本发明公开一种基于多模态数据融合智能售卖机监测方法及系统，监测方法包括：步骤S1，售卖机的摄像机拍摄用户取放商品的图像；步骤S2，售卖机的控制器将用户ID、用户行为、售卖机ID和时间戳形成结构化数据并存储于图像的注释块mvt1中；步骤S3，控制器将处理后的图像上传至服务器进行存储；步骤S4，对图像进行解析，获取图像中的结构化数据、及与结构化数据相对应的商品信息。本发明中，将多模态数据融合存储在无损PNG格式的图像中，解决了图像和数据分离存储的问题，不仅保证了图像质量不受损，利用结构化数据与图像内容同步存储，便于后续的数据处理和分析，而且还确保了图像在传递过程中用户隐私得到有效保护。