基于MAMBA和选择性记忆三维空间的机器人动作预测方法

本发明的基于MAMBA和选择性记忆三维空间的机器人动作预测方法，包括：将机器人采集的多视角RGB‑D图像数据转换为三维体素网格；使用预训练的语言模型对任务目标以及三维体素网格进行编码，将其转换语言特征向量和三维体素网格特征向量；通过3D‑Mamba模型压缩成二维体素网格特征向量；将二维体素网格特征向量与语言特征向量结合，形成输入序列；输入序列通过Perceiver变压器进行处理，生成带有位置信息的输入向量；将带有位置信息的输入向量通过选择性记忆CA‑SSM结构存储历史信息，基于此进行动作预测；使用监督学习方法对整体模型进行训练，每个动作通过最大化Q函数进行选择，直到任务完成。