智能体驱动的任务处理方法及相关设备

本公开一个或多个实施例提供一种智能体驱动的任务处理方法及相关设备。方法包括：获取用户问题和视觉信息，所述视觉信息包括视频片段或视频图像；根据所述用户问题以及预设的智能体框架，构建用户问题提示，述用户问题提示表示将所述用户问题、所述视觉信息、工具集合和视频知识库整合后的输入数据结构，所述工具集合包括多个专用视觉感知模型；将所述用户问题提示输入工具智能体，得到所述用户问题的回答；其中，所述工具智能体在多步推理中，以所述用户问题提示和上下文提示为输入，动态决策行动以得到行动结果，所述上下文提示包括历史推理步骤中所有行动和行动结果，所述行动结果指示所述用户问题的回答；将所述用户问题的回答发送至用户。