基于多模态数据处理的多目标商品识别方法、装置及系统

本发明涉及智能售货技术领域，解决了现有技术中无法在多目标场景下准确地进行商品识别的问题，提供了一种基于多模态数据处理的多目标商品识别方法、装置及系统。该方法包括：获取商品交易场景下多帧实时图像；对实时图像进行预处理和标签信息提取，确定目标图像和商品标签对应的文字信息；对目标图像进行实例分割，确定商品位置信息；对目标图像进行特征提取，确定商品图像特征信息；根据预收集的智能售货场景下的多源私有化数据，对开源多模态视觉语言模型进行微调与优化处理，得到多模态大模型；将商品图像特征信息和文字信息输入多模态大模型中进行信息融合，确定商品目标识别结果。本发明能够在多目标场景下准确地进行商品识别。