模型训练方法、模型推理方法、装置及电子设备

本发明提供一种模型训练方法、模型推理方法、装置及电子设备，模型训练方法包括：利用单向主干模型的第一预测头模块对多模态输入信息的隐空间词元序列中隐空间词元分段进行下一个词元预测，得到第一词元预测结果；基于隐空间词元分段，利用单向主干模型的第二预测头模块在隐空间词元序列内进行固定位置词元预测和随机位置词元预测，得到第二词元预测结果；基于第一词元预测结果和第二词元预测结果，确定多模态输入信息对应的掩码隐空间词元序列，并将掩码隐空间词元序列确定为模型训练结果。本发明提高了每步词元预测效率，结合不同预测头进行不同方式词元预测还能够提升最终词元生成效果，大幅提高了单向主干模型的模型训练效率和模型训练结果的精度。