轻量级视觉Transformer的训练优化方法、装置及介质

本发明公开了一种轻量级视觉Transformer的训练优化方法、装置及介质，其中方法包括：使用未训练的Transformer模型在GPU上，针对不同的注意力头数量进行推理速度测试，以获得合适推理速度的第一数量；将Transformer模型的注意力头数量设置为第一数量，使用MAE以及蒸馏方法对Transformer模型进行自监督预训练；将自监督训练后的Transformer模型，应用于不同的下游任务，以及进行微调训练；将微调后的模型进行推理速度测试以及精确度测试，以评估模型的性能。本发明能够根据GPU的自身计算特性，针对不同的场景，对模型选择合适的参数，同时利用蒸馏技术和自监督预训练，得到一个轻量级的视觉预训练模型，可广泛应用于图像处理和计算机视觉领域。