摘要
本申请涉及数据清洗技术领域,其具体地公开了一种多模态大模型数据清洗治理方法及系统,其对原始多模态数据集进行基础的格式过滤后,通过单模态质量评估机制量化评估多模态数据集中的图像清晰度和文本流畅性,以筛选出质量合格的图像和文本数据样本。接着,进一步引入语义级对齐评估机制,对数据集中每一组对应的图像样本和图像文本描述进行语义级交互响应分析,以量化评估图像样本与文本描述之间的语义对齐程度,筛选出高度语义对齐的图像‑文本数据对。该方法通过对多模态数据集进行多层次的清洗治理,能够确保多模态训练样本质量达标,并且在跨模态语义层面实现高度对齐,从而提升多模态大模型在跨模态理解与生成任务中的准确性和鲁棒性。
技术关键词
编码向量
多模态
图像视觉特征
文本
视觉特征提取
局部视觉特征
语义特征提取
样本
序列
数据清洗技术
编码模块
矩阵
基础
语义层面
预训练模型
系统为您推荐了相关专利信息
预测模型建立方法
双向注意力机制
文本特征向量
跨模态
多尺度滑动窗口
图书推荐系统
个性化图书推荐方法
生成个性化推荐
矩阵
BERT模型
机器视觉识别
运动矢量场
巡检方法
矢量图
多光谱
金融产品推荐方法
排序模型
金融产品推荐系统
队列
数据