摘要
本发明公开了一种药品信息的跨模态检索匹配方法及装置,其中,该方法包括:获取待识别的目标药盒图片;利用多模态药品匹配模型对所述目标药盒图片进行特征提取,得到特征表示;基于所述特征表示,利用所述多模态药品匹配模型进行跨模态匹配,以匹配与所述目标药盒相关的药品信息;其中,所述多模态药品匹配模型是通过以下得到的:基于药品领域的图文对训练集,对预训练后的多模态网络模型进行领域适配训练,得到所述多模态药品匹配模型。本发明解决了现有技术中药品检索不准确的技术问题。
技术关键词
训练文本数据
检索匹配方法
多模态网络
图文
药盒
药品知识图谱
跨模态
训练集
图片
视觉特征
可读存储介质
注意力机制
图像特征向量
样本
计算机程序产品
处理器
存储器
系统为您推荐了相关专利信息
交互特征
生成内容识别方法
图文
交叉注意力机制
文本
元胞自动机模型
家居设备
互动方法
文本生成模型
LSTM模型
显示控制模块
信息接收模块
信息处理模块
车用
机器学习模型