摘要
本发明实施例提供多模态样本修正方法、系统、机器可读存储介质和处理器,属于样本修正技术领域。所述多模态样本修正方法包括:获取大模型中的图像样本信息和文本样本信息;将所述图像样本信息和文本样本信息输入到模态编码器中,以得到图像样本特征和文本样本特征;将所述图像样本特征和文本样本特征输入到大语言模型骨干网络中,生成信号令牌;将所述信号令牌映射到固定维度向量空间,以得到图像线性函数和文本线性函数;根据获取到的图像线性函数和文本线性函数;将对齐的所述图像样本特征和文本样本特征进行深度融合;将所述融合特征送入到知识图谱引导的K‑adapter模型中。该多模态修正方法可以高效的对多模态数据进行融合并对多模态数据进行修正。
技术关键词
样本
文本
修正方法
图像
融合特征
队列
预训练模型
多模态
机器可读存储介质
线性
学生
网络
修正系统
图谱
知识蒸馏方法
令牌
编码器
修正技术
数据获取模块
系统为您推荐了相关专利信息
实时位置
仓库
定位信标
控制第一机器人
监控设备
病理图像识别
病理切片图像
变换算法
多尺度特征融合
薄板样条
对准方法
机械臂基座
空间定位系统
手眼标定
基座坐标系
动态温度调节
PID控制算法
阶段
决策树模型
模糊规则