摘要
本发明公开了一种多模态跨领域的问答数据构造方法、装置以及设备,包括:对获取的通用领域图文问答数据中的问题文本进行句法分析,生成问题模板,基于所述问题模板构建通用问答模板库;对待处理的目标领域图像数据进行特征提取,得到图像描述信息;通过结合所述通用问答模板库以及所述图像描述信息,生成目标领域问题文本;将所述目标领域问题文本以及所述目标领域图像数据输入至多模态问答模型中,生成答案文本,并将所述答案文本、所述目标领域问题文本作为目标领域图像问答对数据。本申请能够针对不同领域实现高效、灵活且准确的问答数据的生成。
技术关键词
数据构造方法
问答模板
图像
文本
三元组
多模态
问答对数据
实体
生成答案
问答模型
依存句法分析
特征提取单元
预训练模型
关系
语义
视觉特征
图文