多模态大模型的具身智能化方法

本发明公开了多模态大模型的具身智能化方法。通过大语言模型根据用户指令和提示数据生成待执行的若干子任务；通过当前场景的点云数据和相机数据构建三维地图场景信息和获取实时定位；通过导航算法，根据导航任务、三维地图场景信息以及实时定位生成目标路径，并控制机器运动模块；通过机械臂控制算法，根据抓取任务和三维地图场景信息确定待抓取的目标物体的最佳抓取位姿和抓取路径，并控制机器抓取模块。本发明通过嵌入大语言模型，以更好地应对语言不确定性和环境复杂性，使机器人具备理解模糊语言指令的能力，并帮助系统快速适应和反应，从而能够在复杂和动态环境下执行多种任务。