一种多模态大语言模型的微调方法和电子设备

本申请提供一种多模态大语言模型的微调方法和电子设备，属于多模态大语言模型微调的技术领域。所述方法包括根据当前任务的调优数据集，分别确定多模态大语言模型中大语言模型和视觉编码器的各个Transformer网络层对所述当前任务的敏感度，并确定当前任务中各个模态的重要程度；根据各个Transformer网络层对当前任务的敏感度和当前任务中各个模态的重要程度，为大语言模型和视觉编码器的Transformer网络层分配低秩适配器，确定当前任务对应的低秩适配器分配结果；根据当前任务的训练数据集和当前任务对应的低秩适配器分配结果，对多模态大语言模型进行微调训练。本申请旨在提高多模态大语言模型对于新任务的适应性。