一种基于多模态具身大模型的超声系统、方法与产品

本申请提供了一种基于多模态具身大模型的超声系统、方法与产品，涉及超声采集技术领域，系统包括：信息采集模块，用于通过多个传感器获取当前时刻的机械臂所在位置的超声信息，超声信息包括：RGB图像、点云数据、超声图像、文字指令，6维力估计数据；特征提取模块，用于进行特征提取得到超声特征；多模态具身大模型，用于根据超声特征，输出机械臂状态特征和机械臂平移旋转特征；机械臂状态特征表示当前时刻的机械臂是否处于异常状态，机械臂平移旋转特征表示当前时刻的机械臂所需执行的平移动作和旋转动作；动作解码器，用于对机械臂状态特征和机械臂平移旋转特征进行解码，生成超声动作，以指导当前时刻的机械器按照超声动作移动。