一种基于多元信息感知的大规模模型预训练方法

本发明提供一种基于多元信息感知的大规模模型预训练方法，将采集到的图像、文本、音频数据输入预训练数据库，将预训练数据库中小批量标注形成识别数据库，利用预训练数据库中的数据对识别模型进行无监督模式预训练，预训练分别从三个感知态展开，将预训练模型得到的参数作为识别模型的初始化参数，基于识别数据库进行模型的监督学习训练，得到最终的智能识别模型。本发明以无监督学习为基石，依托大规模模型预训练的强大能力，分别利用判别式模型和生成式模型进行大规模模型预训练，实现了对海量无标注数据的有效利用；支持广泛的多模态数据的输入，采用互信息最大化‑对比损失作为核心优化目标，使模型能够流畅的处理多模态数据间复杂关系。