摘要
本申请公开了一种多模态数据语义检索方法、装置、设备及存储介质,涉及深度学习技术领域,包括:基于预设优化损失函数组合完成对比语言‑图像预训练模型的模型训练操作,基于训练好的目标对比语言‑图像预训练模型接收待处理的多模态数据语义检索任务;基于目标对比语言‑图像预训练模型解析待处理的多模态数据语义检索任务,以确定任务分解结果;基于目标对比语言‑图像预训练模型、任务分解结果中的各子条件及预设相似度度量策略进行逐步的图像筛选;基于筛选出的目标图像集中各候选图像的目标评分、目标对比语言‑图像预训练模型确定目标语义检索结果。本申请能够高效实现CLIP模型在多条件和否定性描述下的语义检索,提升了用户体验感。
技术关键词
预训练模型
语义检索方法
图像
数据
度量
多模态
策略
双模态
深度学习技术
训练样本集
检索装置
复杂度
可读存储介质
文本
模块
处理器
指标
电子设备
系统为您推荐了相关专利信息
宏观交通流
估计方法
样本
交通安全管理技术
加速度
动态功率分配方法
功率芯片
数据队列长度
信道
噪声分量
大语言模型
排序模型
排序技术
词袋模型
滑动窗口