摘要
本申请涉及人工智能技术领域,具体提供一种多模态大模型的特征蒸馏方法、装置、设备及介质,旨在解决特征替换后的学生模型的识别准确率低的问题。为此目的,本申请包括:对教师模型的特征数据和学生模型的特征数据进行相似性度量,得到特征相似值;根据教师模型的特征数据和学生模型的特征数据,得到特征差距值;根据特征相似值和特征差距值,得到蒸馏损失值;确定蒸馏损失值小于预设阈值,将学生模型的特征数据和教师模型的特征数据进行对齐处理,得到更新学生模型;根据蒸馏损失值,得到学生模型训练损失;根据学生模型训练损失和训练数据,对更新学生模型进行训练处理,得到优化学生模型;根据优化学生模型,对待处理数据进行处理处理,得到处理结果。
技术关键词
学生
教师
数据
蒸馏方法
分析模块
多模态
预测误差
度量
人工智能技术
对齐模块
蒸馏装置
矩阵
处理器
识别模块
可读存储介质
存储器
电子设备