基于多模态信息的商品轨迹关联方法、装置、设备及介质

本发明涉及商品轨迹跟踪与管理的技术领域。具体涉及一种基于多模态信息的商品轨迹关联方法、装置、设备及介质，其方法包括获取与单个订单相关的多模态信息，多模态信息包括视频信息和扫码信息，基于视频信息，通过多目标追踪模型，自动对视频中的商品进行位置追踪，得到商品的轨迹信息，根据商品轨迹信息，结合扫码信息，自动将商品轨迹信息与扫码信息中的商品信息进行关联，形成商品轨迹信息集，将商品轨迹信息集输入到深度神经网络分类器中，自动输出商品轨迹的标签信息，根据商品轨迹的标签信息，自动识别异常商品类型，并生成异常报告，异常报告包括，漏扫异常报告、漏秤异常报告和错扫异常报告。本发明具有实现了商品的精准追踪的效果。