一种基于视觉和重力感应的购物订单识别方法及系统

本发明提供一种基于视觉和重力感应的购物订单识别方法及系统，方法包括：检测自动售货机购物区域的视频流中的商品信息和手部关键点的位置信息；根据不同时刻的手部关键点的位置信息，计算手部运动角速度，判断是否存在对商品的手部旋转动作，以及计算手指距离变化、两只手的相对运动速度和两只手的相对运动方向，判断是否存在对商品包装袋的撕扯动作；若存在手部旋转动作或撕扯动作，且售货架上的重量数据减少时，则确认发生购物异常行为。本发明结合自动售货机购物区的视觉数据和重量数据，对购物过程中的异常行为进行检测识别，解决了纯视觉算法无法解决商品数量问题，以及解决了纯重量算法无法识别商品类别的问题，提高购物订单识别精度。