用于多模态大模型的高效大分辨率图像视觉标记生成方法

本发明公开了一种用于多模态大模型的高效大分辨率图像视觉标记生成方法。本发明包括以下步骤：首先，基于最小填充的动态切片方法对输入的原始图像分割后得到若干图像块并加入到待处理图像块集合中，对原始图像进行预处理后也加入到待处理图像块集合中；接着，利用视觉编码器提取待处理图像块集合中每个图像块的多层视觉特征，然后将倒数第二层特征下采样为低分辨率特征，和高分辨率特征进行交叉注意力运算，进而获得当前图像块的视觉标记子序列；最后得到最终的压缩视觉标记序列。本发明可以高效地生成视觉标记序列，适用于视觉问答、文档问答、光学字符识别等多种视觉推理任务，为多模态大语言模型提供了一种高效、精确的视觉上下文表示方法。