基于工具增强的大语言模型的多模态处理方法及装置

本公开涉及人工智能技术领域，尤其涉及一种基于工具增强的大语言模型的多模态处理方法及装置，方法包括获取待处理用户请求，待处理用户请求用于指示需要处理的多模态任务以及各多模态任务处理所需的多模态数据，对多模态任务进行任务拆解，得到任务拆解结果，根据任务拆解结果，在预设的工具图中进行搜索得到所有可行方案，并对所有可行方案进行评估得到目标方案，利用各目标工具执行对应的子任务，得到针对各子任务的工具执行结果，根据待处理用户请求、目标方案、各工具执行结果确定出对应待处理用户请求的处理结果。根据本公开实施例提供的基于工具增强的大语言模型的多模态处理方法及装置能够实现高效精准的多模态处理。