摘要
本发明提供一种层次化视频搜索排名优化方法及装置,其方法包括:基于查询语句与候选视频片段的相似度得分由大至小的顺序,生成初始相似度排名;使用多模态大语言模型对初始相似度排名前预设数量的候选视频片段进行语义标注,并基于标注结果筛选得到最困难语义和最易语义;使用最困难语义和最易语义更新初始相似度得分,以强化最困难语义的识别能力并抑制最易语义的干扰,基于更新后的初始相似度得分生成视频片段的搜索结果。本发明通过多模态大语言模型对候选视频片段进行语义标注,以通过查询语句的每个基础语义的准确率筛选得到最易语义和最困难语义,从而有效挖掘了负样本中隐含的正确语义信息,为视频排名优化提供细粒度监督信号。
技术关键词
语义
视频搜索
生成视频片段
语句
大语言模型
模态特征
基础
视觉
样本
多模态
非暂态计算机可读存储介质
图像生成模型
处理器
计算机程序产品
优化装置
模块
存储器
电子设备
系统为您推荐了相关专利信息
电力作业现场
深度卷积神经网络
可见光图像
作业数据采集
语义
入侵检测方法
邻居
节点特征
解析日志
神经网络模型训练
自然语言信息
数据查询方法
自然语言转换
数据查询系统
存储装置