用于密集预测任务的视觉基础模型的参数高效微调方法

本发明涉及模型参数微调技术领域，公开了一种用于密集预测任务的视觉基础模型的参数高效微调方法，包括：为视觉基础模型引入动态参数生成模块，并在视觉基础模型的每一个transformer层的多头注意力模块和前馈神经网络上并行的添加HOM模块；动态参数生成模块中的每个超网络为对应的卷积层生成卷积核参数；在视觉基础模型进行微调训练时，视觉基础模型的参数保持冻结，通过密集预测任务训练图像对HOM模块和动态参数生成模块的参数进行训练。本发明有效地降低将视觉基础模型应用于密集预测任务时所消耗的资源，降低了显存的花费以及训练时间。