一种基于Transformer的视觉大模型训练系统

本发明涉及模型训练技术领域，具体为一种基于Transformer的视觉大模型训练系统，系统包括：模糊区域选择模块基于输入图像数据，获取模糊区域和清晰区域的分布信息，根据图像的模糊区域和清晰区域进行权重分配，获取区域加权图，将区域加权图用于Transformer自注意力层中，生成权重调整后的注意力分布图。本发明中，通过对图像的亮度、颜色变化、对比度、边缘清晰度和纹理密集度等特征信息进行处理，动态区分模糊和清晰区域，并赋予清晰区域更高权重，使模型更加聚焦高信息量的区域，提升了在细节丰富场景中的分辨能力。基于相似度伪标签，通过标注样本与无标签样本之间的特征相似性关系，提高了无标签样本在特征学习过程中的准确性和效率。