摘要
本申请涉及机器学习技术领域,本申请提供一种基于三元组多模态提示的知识蒸馏方法,其特征在于,包括:获取多个开源视觉数据集并构建训练集、验证集和测试集;构建用于蒸馏的教师模型,通过训练对教师模型进行两阶段提示微调;构建基于三元组提示蒸馏的学生模式,并将教师模型知识蒸馏至学生模型;将训练好的学生模型进行检索预测。本申请通过原型引导的三元组提示蒸馏机制与多损失协同优化,实现了跨模态知识的高效精确迁移,全面提升模型在少样本场景下的泛化性能与鲁棒性。
技术关键词
知识蒸馏方法
三元组
教师
多模态
学生
视觉特征
构建训练集
文本编码器
样本
图像
损失函数优化
逻辑
模板
机器学习技术
两阶段
批量
鲁棒性
系统为您推荐了相关专利信息
建筑结构抗震
MEMS加速度计
阻尼调节装置
指数
耦合特征
点云
生成对抗网络
上采样方法
模型训练方法
动态
声学传递函数
声学特征分析
双耳音频信号
时域特征
多头注意力机制