一种基于适配器的红外与可见光参数高效迁移学习方法

本发明属于计算机视觉技术领域，涉及一种基于适配器的红外与可见光参数高效迁移学习方法，包括：获取配对的红外图像和可见光图像并输入训练好的目标任务预测模型，得到预测结果；预测模型的训练过程包括：获取多组配对的红外图像xir和可见光图像xvis；将图像xir和xvis输入对应模态的嵌入层，得到红外特征令牌Zir和可见光特征令牌Zvis；将令牌Zir和Zvis输入外部模态提示适配器，得到外部模态提示PE；将提示PE和Zvis令牌输入插入适配器的可见光预训练视觉模型进行编码，得到编码特征；将编码特征输入目标任务解码器，得到预测结果；根据预测结果更新预测模型的参数，直到得到训练好的预测模型；本发明引入多个适配器将预训练视觉模型适配到多种红外与可见光下游任务，提高了模型的通用性和可扩展性。