在环境重建系统和应用中使用大语言模型增强感知数据

本发明公开了在环境重建系统和应用中使用大语言模型增强感知数据，具体公开了使用语言模型生成物理环境的标记化描述的方法。在至少一个实施例中，可以获得环境的传感器和/或观测数据，并用于生成感知数据集合。可以分析感知数据以及环境内的近似位置数据，以识别对齐的地图数据集合。对齐的地图数据和感知数据可以作为输入被提供给经训练的语言模型，语言模型可以被训练为关联和/或融合信息以生成环境的单个一致表示。语言模型可以输出环境的标记化描述，该标记化描述可以是用特定领域的语言的，即环境的紧凑但鲁棒的文本描述。