摘要
本公开提供了一种多模态大模型的训练、图像分类方法及装置、智能体、设备、介质和产品,涉及人工智能技术领域,尤其涉及计算机视觉、深度学习、大模型等技术领域,可应用于多模态识别和分类场景。该多模态大模型的训练方法包括:获取训练样本集,其中,训练样本集包括多个训练样本对,每个训练样本对包括样本图像、样本文本和用于样本图像的类别描述;将每个训练样本对分别输入至待训练的大模型,得到每个样本图像各自的类别信息;以及,利用每个训练样本对各自的类别描述和类别信息,训练待训练的大模型,得到用于图像分类的多模态大模型。
技术关键词
多模态
训练样本集
融合特征
文本
图像特征提取
图像分类方法
特征提取模块
大语言模型
标记
输入模块
图像分类装置
分类场景
人工智能技术
计算机程序产品
处理器
计算机视觉
系统为您推荐了相关专利信息
合成孔径雷达影像
土地覆盖分类方法
胶囊网络模型
多模态
残差结构
固体废物堆场
多源监测数据
可见光图像
渗滤液
识别系统
协方差矩阵
元学习策略
语义
线性分类器
动态特征提取