一种多模态模型推理方法、训练方法及装置

本发明公开了一种多模态模型推理方法、训练方法及装置。该方法包括：确定基准数据对应的基准编码；将至少两种模态的输入数据中除基准数据外的其他模态输入数据作为待对齐数据，分别确定每种待对齐数据进行编码所产生的第一编码数量，并基于第一编码数量确定待对齐数据对应的模态编码；将每种模态编码与基准编码进行融合，生成融合编码，并将融合编码输入至多模态模型中，获取多模态模型输出的融合编码对应的推理结果；其中，在获取推理结果的过程中，基于多模态编码器生成的待对齐数据对应的实际模态编码替换融合编码中对应的预设起始编码与预设终止编码之间的预设占位编码。本方案提高了多模态模型对各个模态的输入数据的编码对齐的准确性。