基于多模态模型相似度匹配的商品识别方法和装置

本发明提供一种基于多模态模型相似度匹配的商品识别方法和装置，通过获取购买商品的图像，图像输入多模态模型，获取图像特征；计算购买商品的图像特征与特征库中每种售卖商品的预存图像特征之间的图图相似度分数；计算图像特征与特征库中每种售卖商品的预存文本特征之间的图文相似度分数；基于图图相似度分数和图文相似度分数，计算图像特征与特征库中每种售卖商品的整体相似度分数；基于整体相似度分数判定图像特征对应的购买商品的类别。本发明提供的方法和装置引入了图像和文本两种模态的数据来进行相似度匹配，从而获得更丰富、更全面的数据表示，通过结合不同模态的信息，降低了对单一模态的过度依赖，从而增加了模型的鲁棒性。