自适应多级微调多模态大模型的优化方法及系统

本发明涉及多模态大模型领域，公开了自适应多级微调多模态大模型的优化方法及系统。该方法构建多模态数据集；基于预训练的多模态基础大模型对单组样本中的模态数据进行编码，生成特征表示；计算每种模态数据特征的任务相关性评分、特征信息量评分和梯度规模评分，以生成单模态评分；计算不同模态间的模态对齐度评分、信息互补度评分和协同增益度评分，以生成跨模态交互评分；根据两种评分构建深度调整需求指标和交互强度需求指标，根据指标取值选择深度微调/浅度微调与强交互/弱交互的组合策略，对多模态基础大模型进行自适应优化；验证模型性能是否满足要求以迭代优化至满足要求。本发明节省计算资源，提升模型的表征和泛化能力。