基于多模态交互的自助收银方法、系统及存储介质

本发明公开了一种基于多模态交互的自助收银方法、系统及存储介质，属于数据处理技术领域，该方法包括：拍摄预定区域的初始图像，将初始图像拆分为多张商品图像，识别每张商品图像以获取其中包括的商品信息及第一置信度；基于第一置信度大于第一阈值的商品信息生成第一商品列表，基于所有商品图像和重量信息进行联合推理，获取未识别商品的商品信息及第二置信度；若第二置信度小于第一阈值，基于售卖货架的取放信息对商品信息进行验证；若验证成功，将未识别商品的商品信息加入至第一商品列表中，获得第二商品列表，基于第二商品列表生成金额信息，并展示收款界面。本发明结合多种方法获取待结算的商品信息，从而大大提升了商品识别的准确度。