基于多模态的环境感知与控制方法、系统、介质与产品

本申请公开了一种基于多模态的环境感知与控制方法、系统、设备、存储介质和计算机程序产品，涉及多模态数据融合技术领域，包括：采集预设环境的环境数据和点云数据，并接收用户指令数据；对所述环境数据和所述用户指令数据进行预处理，得到处理数据；将所述处理数据和预处理后的点云数据，进行数据对齐和特征融合，得到多模态数据；根据多模态大语言模型对所述多模态数据进行语义理解，并根据语义理解结果生成智能控制指令，通过所述智能控制指令对预设环境的智能化控制。本申请解决了环境感知的片面性。