一种基于差分进化的视觉大模型Token自适应优化方法、系统、设备及介质

一种基于差分进化的视觉大模型Token自适应优化方法、系统、设备及介质，方法：对图像分类数据集、实例分割数据集和显著性目标检测数据集进行数据处理，通过Patch Embedding和位置编码的方法得到每张图像对应的所有Tokens；通过随机选择的方式，得到每张图像对应的多组Tokens，数据处理输出每张图像对应的所有Tokens和每张图像选择出的多组Tokens；构建Token自适应选择模块、自注意力优化模块和下游任务输出模块；构建完整Token自适应优化的视觉大模型；训练重建模型及完整Token自适应优化的视觉大模型；模型推理，得到图像分类结果、实例分割结果图、显著性目标检测结果图；系统、设备及介质用于实现该方法；本发明能够广泛应用于图像分类、实例分割、显著性目标检测等多种视觉任务。