一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法

本发明公开了一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法，包括以下步骤：获取多模态问答数据，并将多模态问答数据划分为验证集和测试集；将验证集输入到目标多模态大语言模型中，并通过搜索方法来进行模型各层的冗余度排序；根据冗余度排序，将测试集输入到目标多模态大语言模型中，获取目标多模态大语言模型每一层的冗余度大小；根据冗余度大小，对目标多模态大语言模型的部分层进行关于视觉令牌处理的加速操作。本发明利用视觉令牌所需算力要少于文本令牌的特点，通过定位大语言模型中的冗余层并对其中关于视觉令牌的自注意力操作和前馈神经网络操作进行优化，实现模型推理效率的大幅提升。