一种基于深度学习的多模态混合数据库储存和交互方法

本发明公开了一种基于深度学习的多模态混合数据库储存和交互方法。本发明在现有多模态数据分开存储和利用单模态混合标签交互技术的基础上实现了不同模态数据(图像、视频、语音和文字)的混合存储与实时检索交互功能，进一步增加了对于融合数据的理解和提升交互性能。在技术层面，本发明利用深度学习统一通用模型分别对图像、视频、语音和文字进行特征提取和融合；本发明采用了多模态融合数据的通用存储；本发明采用了用户数据与融合后的特征数据匹配计算；本发明根据匹配信息和通用统一模型进行多模态转化并返回。