基于多模态信息的训练、索引构建、搜索方法和设备

本申请实施例提供了一种基于多模态信息的训练、索引构建、搜索方法和设备。其中，模型训练方法包括：获取预训练的生成模型，所述生成模型包括：图文处理单元和语言模型单元；获取基于提示词生成的指令词和目标对象的对象关联信息，所述对象关联信息包括对象描述信息和图像信息；基于所述指令词、对象描述信息、图像信息构建输入数据，将所述输入数据输入到生成模型中，输出对应的关键词；通过所述关键词计算损失信息；基于所述损失信息调整所述生成模型的图文处理单元和语言模型单元。能够提高生成模型的精度，从而提高关键词的准确性，进而提高搜索结果的准确性，提高用户体验。