一种面向多模态大模型的图像压缩方法

本发明提供了一种面向多模态大模型的图像压缩方法，包括：步骤S1，获取任一待压缩图像，基于预训练视觉模型对待压缩图像进行浅层特征提取并生成语义重要性图；步骤S2，对待压缩图像进行编码并根据语义重要性图指导编码过程中的比特率分配，同时生成压缩比特流；步骤S3，对压缩比特流进行解码获得低层级重建图像，基于潜在特征适配器对低层级重建图像的潜在特征进行高层级语义增强得到增强后潜在特征，并将增强后潜在特征与从低层级重建图像中提取到的低层级特征进行融合，生成供多模态大模型使用的压缩重建图像。有益效果是本发明能够实现在高效压缩的同时最大程度地维持多模态大模型处理图像的性能。