一种类脑多模态模型端到端预训练装置及方法

本申请属于类脑和多模态人工智能技术领域，特别是涉及一种类脑多模态模型端到端预训练装置及方法。所述装置包括多模态信息源模块、多模态感知模块、多模态数据处理模块、多模态数据蒸馏模块和多模态模型训练模块。所述方法包括：观测目标产生非人因信息并与人交互产生人因信息；由感知单元获取人因数据与非人因数据；所述数据由数据处理单元处理，由数据集成单元集成于同一存储空间；重复该过程，得到多模态数据集；所述数据集由多模态数据蒸馏模块去除人因语义与非人因语义不一致的多模态数据；利用蒸馏后的数据集完成类脑多模态模型训练。本发明将人脑中多模态信息表征和对齐机制迁移至多模态模型中，有效地提高多模态对齐、跨模态转换的表现。