多模态模型训练方法、图像处理方法、装置及电子设备

AITNT
正文
推荐专利
多模态模型训练方法、图像处理方法、装置及电子设备
申请号:CN202411046168
申请日期:2024-07-31
公开号:CN118940859A
公开日期:2024-11-12
类型:发明专利
摘要
本公开提供了一种多模态模型训练方法、图像处理方法、装置及电子设备,涉及人工智能技术领域,尤其涉及计算机视觉、深度学习、大语言模型等技术领域。具体实现方案为:获取多模态模型;其中,多模态模型包括依次连接的图像编码器、桥接组件和大语言模型;执行针对多模态模型的训练操作,得到经过训练的多模态模型;其中,训练操作包括:在多模态模型中的大语言模型的权重参数被固定的情况下,利用第一图文样本集合,对多模态模型中的图像编码器和桥接组件进行训练,得到经过初步训练的多模态模型;利用第二图文样本集合,对经过初步训练的多模态模型进行整体训练,得到经过训练的多模态模型。
技术关键词
多模态 样本 图文 桥接组件 图像编码器 文本 模型训练方法 数据 图像处理方法 模型训练装置 图像获取单元 图像处理单元 电子设备 图像处理装置 处理器 大语言模型 人工智能技术 计算机
系统为您推荐了相关专利信息
1
一种基于大语言模型的雨水情智能交互服务平台
交互服务平台 雨水情 水文 数据 时序
2
一种基于大型语言模型的电梯维保风险预测系统及方法
风险预测系统 风险预测模型 电梯运行状态 可视化界面 故障报警信息
3
基于消费者行为的商品推荐方法
商品推荐方法 意图 多模态注意力 电子商务平台 长短期记忆网络
4
设备液压系统关键元件的故障诊断方法
仿真模型 训练样本集 设备液压系统 故障诊断方法 数据
5
一种中小金融机构客服全流程数字化系统及方法
闭环 业务流程模板 数字化方法 图谱 指数
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号