使用生成式语言模型对图像的语义标记

本申请的实施例涉及使用生成式语言模型对图像的语义标记。一种计算系统包括被配置为接收图像的一个或多个处理设备。处理设备还被配置为计算标识图像中包括的关注区域的分割掩模。在特征提取器处，处理设备还被配置为基于图像来计算编码图像特征。处理设备还被配置为接收文本指令。在视觉重采样器处，处理设备还被配置为基于分割掩模、编码图像特征和文本指令来计算掩模查询。在生成式语言模型处，处理设备还被配置为接收包括掩模查询和文本指令的自然语言查询。基于自然语言查询，在生成式语言模型处，处理设备还被配置为生成并输出与关注区域相关联的语义标签。