摘要
本发明公开了一种中药材视觉问答系统的实现方法,包括获取中药材的图像数据及问题文本数据;基于大规模的图像数据采用深度卷积神经网络对获取的图像数据进行特征提取,及采用预训练语言处理模型对获取的问题文本数据进行特征提取;再对所述图片特征数据和问题文本特征数据进行对齐处理,并利用经过所述对齐处理后的数据基于多任务学习策略进行答系统模型的训练,之后,基于所述问答系统模型建立中药材视觉问答系统。本发明的实现可以很好地应用于针对中药视觉问答任务的处理过程中,实现对中医药视觉问题的高质量的回答,为中药材的认知与学习提供了便捷途径,也为中医药知识的智能化整理与利用开辟了新路径。
技术关键词
问答系统
文本
数据
图片
双模态
注意力机制
多任务学习策略
模态特征
深度卷积神经网络
答案
视觉
图文
图像
中医药
编码
模块
转换器
代表
对象