一种基于元学习的多模态数据融合方法

本申请公开了一种基于元学习的多模态数据融合方法和装置，通过构建跨模态共享底层编码器；利用跨模态标注数据集训练跨模态共享底层编码器，并通过模型无关元学习算法优化跨模态共享底层编码器的初始参数，得到初始化模型；利用混合后的跨模态标注数据集和获取的半监督伪标签数据集训练初始化模型，并基于元学习迁移算法更新初始化模型的参数，得到迁移模型；冻结迁移模型的共享参数，利用小标注样本训练迁移模型的模态嵌入层，得到任务快速适配的迁移模型，基于任务快速适配的迁移模型处理多模态输入数据，得到多模态融合数据解决了多模态数据融合中模型计算资源消耗过大、训练时间长、效率低等问题。