一种针对多模态目标检测大模型的推理加速方法

本发明公开了一种针对多模态目标检测大模型的推理加速方法，其包括以下步骤：S1、提取待部署模型的目标文本标签的文本语义向量；S2、依据文本语义向量构建文本语义线性层；S3、将待部署模型中的文本编码器部分替换为文本语义线性层，再将模型保存为一个完整的模型权重结构；S4、以新的多模态目标检测大模型进行推理。本方案可使多模态目标检测大模型在部署推理时显著提升推理效率并减少部署模型的显存资源消耗，且对模型推理时的精度不会造成影响。