摘要
本发明提供了一种工业图像异常检测多模态大模型的结构化数据智力密度增强方法及系统,包括如下步骤:S1,对小样本的工业异常图像进行结构化文本生成构成训练数据,得到图文对样本;S2,在多模态大模型对齐网络上对训练数据进行一次前向传播和反向传播,收集每个图文对样本的梯度和损失信息;S3,基于图文对样本的梯度和损失信息,计算每个图文对样本的可学习性评分,并筛选出评分偏低的样本集合;S4,对评分偏低的样本集合应用梯度引导的文本改写与增强策略,生成改进的文本描述,形成优化后的图文对数据集;S5,将优化后的图文对数据集用于模型训练对比实验,评估性能提升情况。
技术关键词
智力
文本
样本
图文
多模态
图像
密度
工业
改写方法
多维特征向量
标识
网络
关键词
指标
异常数据
策略
同义词
物体
模块
系统为您推荐了相关专利信息
翻译交互系统
声音传感器
语音
音频特征提取
编码向量
柴油发电机组
故障预测模型
故障类别
数据样本集合
故障预测方法
分级分类方法
高维特征向量
分类网络
多模态特征
标签
位置识别
自动识别方法
预训练模型
编码器
医学影像信息