针对低资源设备的多模态大模型异构多教师蒸馏部署方法

本发明公开一种针对低资源设备的多模态大模型异构多教师蒸馏部署方法，涉及多模态知识蒸馏技术领域，包括以图像‑文本对为输入，提取图像嵌入和文本嵌入，确定图像到文本和文本到图像的对比分布；计算确定图像模态权重和文本模态权重；对教师模型的图像嵌入和文本嵌入进行加权，得到融合图像嵌入和融合文本嵌入，对教师模型的对比分布进行加权，得到图像到文本和文本到图像的融合分布；以此进行特征蒸馏和对比关系蒸馏。从对齐图像和文本中提取互补的多模态信息，将多模态信息蒸馏到学生模型中，实现高效的跨模态知识传递，增强理解跨模态语义的能力，提高图像识别分类的准确性。