一种基于可微架构搜索的任务自适应ViT模型压缩方法

本发明公开了一种基于可微架构搜索的任务自适应ViT模型压缩方法，其中方法包括：在目标数据集Dt上预训练ViT模型，获取微调后ViTt模型；基于微调后ViTt模型，采用可微架构搜索以最小化损失函数为目标寻找最佳搜索空间架构，基于最佳搜索空间架构把微调后ViTt模型压缩成自适应目标任务的自适应ViT模型。本发明提出的自适应ViT模型能够自适应地为不同下游任务进行ViT模型的轻量化，通过结合可微架构搜索和损失函数(面向任务的知识蒸馏损失与模型效率感知损失)，自适应ViT模型能够自动有效地调整模型结构，显著提升模型效率的同时保持较高的任务适应性和预测性能。