多模态数据生成方法、装置、系统、设备及存储介质

本发明公开了一种多模态数据生成方法、装置、系统、设备及存储介质。该方法包括：获取物体图像数据、第一关节图像数据、第二关节位姿数据和力/触觉感知数据；根据任一相同时间点下的物体图像数据，确定该相同时间点下被操作物体在图像传感器坐标系下的物体位姿数据；根据该相同时间点下的物体位姿数据、第一关节图像数据和第二关节位姿数据，确定指尖在物体坐标系下的指尖位姿数据；生成包括各相同时间点下的物体位姿数据、指尖位姿数据和力/触觉感知数据的多模态数据。本发明实施例技术方案实现了生成以物体为中心的多模态数据，能够适用于不同物体位置变化场景。