用于人机互助的异构常识性场景图生成方法及系统

本发明公开了一种用于人机互助的异构常识性场景图生成方法及系统，属于机器人技术领域。包括：获取环境图像序列并提取关键帧，基于关键帧提取实体信息；考虑实体的几何位置关系和特征相似度，融合不同关键帧下的同一实体，增量构建地图；对地图上实体间的任务关系和常识性关系进行建模，生成异构常识性场景图以辅助机器人执行人机互助任务。能够保留了大模型带来的强大语义理解与推理能力，同时大幅降低了系统的运行成本和响应时间；解决了现有用于人机互助的语义地图无法满足人机互助的现实需求的问题。