一种基于多模态学习的药物图像识别管理方法

本发明涉及信息处理技术领域，尤其涉及一种基于多模态学习的药物图像识别管理方法，包括以下步骤：步骤S1：收集药物图像数据及相应的药物名称、化学成分、功能主治和使用说明的文本数据；步骤S2：清洗所述药物图像数据，去除噪声并对其进行分类标注，同时利用自然语言处理方法提取并标注所述文本数据的关键信息；步骤S3：通过卷积神经网络或Transformer视觉模型提取所述药物图像的视觉特征。本发明通过集成药物图像的视觉特征、药物文本数据的语义特征及药物化学特征，本发明能够全面地表征药物信息。这种多模态特征的融合不仅增强了药物识别的鲁棒性，还显著提升了识别的准确性。