基于大模型的多模态数据处理方法、装置、设备及介质

本申请公开了一种基于大模型的多模态数据处理方法、装置、设备及介质。对多模态数据进行特征提取和关联挖掘，得到多模态数据特征；按照多种文本匹配方法的检索顺序，依次使用多种文本匹配方法在预先构建的知识库中对多模态数据特征进行文本检索，得到第一关联子图；基于多模态数据特征与预先构建的知识库中多模态数据的语义相似度，以及相似度阈值，确定第二关联子图；对第一关联子图和第二关联子图中的多个候选结果进行标准评估，并根据评估结果对多个候选结果进行排序，得到检索结果；将检索结果和多模态数据特征输入大模型中进行信息分析，得到提示信息和目标工具；将提示信息和目标工具发送给终端，并接收终端的数据处理结果。