具身智能体多模态感知数据动态融合方法、系统及设备

本发明公开了一种具身智能体多模态感知数据动态融合方法、系统及设备，包括：S1.具身智能体在运动过程中实时采集图像数据；S2.使用多模态大模型判断图像数据的点云填充密度，数据采集过程中利用地图算法填充相机画面的3D点云；S3.通过点云数据投影转换，生成激光雷达特征图；S4.进行多模态大模型的特征数据初始化对齐；S5.构建一组多尺度多通道可微分的互信息精细优化方法对特征数据进行处理；S6.执行多模态大模型在线监测与融合自矫正操作；S7.将相机信息投影到激光3D点云，在具身智能体的运动过程中持续构建融合后的RGB‑3D场景。本发明能够实现激光雷达与相机之间外参的精准、鲁棒、自动标定和融合。