一种高分辨率多模态大模型架构的实现方法

一种高分辨率多模态大模型架构的实现方法，实现一种多模态大模型架构，配置用于已有的多模态大模型，用于处理包含高分辨率图像的输入，所述多模态大模型架构对视觉特征提取部分引入局部随机采样机制，并采用分层注入机制将多次随机采样的结果分层注入LLM中。本发明将多次局部随机采样得到的视觉特征划分到LLM的不同层注入，显著减少了LLM在每一层中需要处理的视觉特征，在保证MLLM模型性能前提下，节省了模型训练和推理时的时间开销和显存开销，本发明的局部随机采样机制去除了大量的冗余视觉特征，提高了LLM模型的性能，解决了模型输入高分辨率图像时导致性能下降的问题。