摘要
本发明涉及智能问答、金融科技及医疗健康技术领域,公开了一种基于多片段检索的问答方法、装置、设备及介质,包括:获取需求信息以及与所述需求信息相关联的目标视频;将所述需求信息和所述目标视频输入预设片段检索模型以使所述预设片段检索模型从所述目标视频中提取与所述需求信息相关联的多个时间片段;基于每个所述时间片段对所述目标视频进行多模态内容提取以获得与所述时间片段相匹配的多模态向量;将所述多模态向量输入至预设多模态大模型以使所述预设多模态大模型生成回答所述需求信息的答复信息。不仅提高了问答效率,而且还支持多模态检索。
技术关键词
多模态
问答方法
视频
规则知识库
医疗健康技术
音频特征提取
视觉特征提取
文本
输入模块
可读存储介质
问答装置
处理器
生成规则
摘要
计算机设备
存储器
数据
系统为您推荐了相关专利信息
分拣系统
红外热像仪
多模态
图像处理器
玻璃传输系统
知识图谱融合系统
自动化流水线
知识图谱构建
实体
模块
问答方法
BERT模型
神经网络结构
文本
问答系统