基于概念场景图与大模型融合的主动视觉感知方法与系统

本发明属于机器人感知领域，提供了一种基于概念场景图与大模型融合的主动视觉感知方法与系统。其中，方法包括基于设定场景的图像，提取其中的候选实体及其文本描述和空间关系；从用户指令中提取目标实体，计算目标实体文本描述与候选实体之间的视觉‑语言对齐匹配分数，以匹配分数最高的候选实体为主节点构建概念场景图；利用嵌入有三元提示工程的大模型对概念场景图进行处理，结合成功的历史任务策略代码，生成当前任务场景的策略代码，以使得机器人主动感知场景中的隐式信息，实现被遮挡且存在视觉混淆的目标实体的识别与抓取。