一种基于大语言模型的异构动物机器人协作导航系统

本发明提出一种基于大语言模型的异构动物机器人协作导航系统，包含集中控制中心，设有视觉感知转换模块和指令生成模块。视觉感知转换模块利用视觉大模型SAM提取语义信息，结合时空注意力机制生成鸟瞰视图(BEV)表示，通过语义分割解码器构建全局语义地图，并借助BLIP‑2模型将其转换为自然语言描述。指令生成模块将视觉描述、导航信息、历史轨迹及人类专家指令作为提示词输入大语言模型，输出包含任务分配与指令选择的导航思维链，包含状态预测、过滤、行动预测及指令输出四个中间步骤。该系统通过集中式控制结构与协作感知控制方法，提升异构动物机器人的感知、协作与通信能力，确保其在复杂环境中的高效导航与决策执行。