图像处理及模型训练方法、装置和设备

本申请公开了一种图像处理及模型训练方法、装置和设备，方法包括获取机器人视角的图像序列以及语言指令信息；语言指令信息用于表征图像处理任务的任务类型；确定图像序列中至少一帧图像分别对应的视觉令牌，以及语言指令信息对应的语言令牌；基于图像处理任务的任务类型，对语言令牌以及视觉令牌进行拼接处理，得到拼接后的令牌；对拼接后的令牌进行预测处理，得到预测令牌；对预测令牌进行图像处理任务。