用于训练基础模型的方法和系统

本申请涉及一种用于训练基础模型和/或基于图的神经网络的方法，该方法具有步骤：提供至少一个图像数据和/或视频数据，其具有来自至少一个域的图像信息和至少一个图像标识；提供至少一个常识图GKG，其具有关于至少一个域的信息；提供至少一个图像数据和/或视频数据的图像信息的至少一个文本描述；借助于大语言模型LLM将至少一个文本描述嵌入基于图的神经网络GNN中；将常识图嵌入基于图的神经网络中；通过基于图的神经网络根据至少一个文本描述和常识图生成图文特征向量；通过基础模型生成图像特征向量；基于图文特征向量训练基础模型；或者，基于嵌入的文本描述、嵌入的常识图并且根据图像特征向量来训练基于图的神经网络。