摘要
本发明提供一种融入图像描述驱动的图文双向检索方法及系统。该方法包括:获取待检索图文数据集,包括若干个待检索图像和待检索文本;分析待检索图文数据集的平台来源,根据平台来源选择提示词策略;利用提示词策略和预设大语言模型生成每个待检索图像的文本描述,并建立待检索图像与其对应的文本描述的索引;利用提示词策略和预设大语言模型生成每个待检索文本的语义增强文本;针对以文搜图任务,将给定的查询文本与每个待检索图像的文本描述进行相似度比较,返回相似度最高的前N个待检索图像;针对以图搜文任务,生成给定的查询图像的文本描述并将其与每个待检索文本的语义增强文本进行相似度比较,返回相似度最高的前N个待检索文本。
技术关键词
检索图像
双向检索方法
图文
大语言模型
策略
语义
平台
文本编码器
数据
检索系统
索引
分析模块
风格
系统为您推荐了相关专利信息
标量特征
位点预测方法
描述符
并行集成学习
多层感知器
智能测试方法
大语言模型
混合控制策略
界面组件
特征匹配方法
软件自动测试方法
生成测试用例
抽象语法树
日志
覆盖率
模板
语言模型训练方法
生成智能
大语言模型
标签