摘要
本说明书实施例提供了多模态答案生成方法及装置,其中,一种多模态答案生成方法包括:通过大语言模型对问题进行问题解析和答案生成,获得至少一个子问题、关联问题、子问题答案以及关联问题答案,根据问题、各子问题、关联问题、子问题答案和关联问题答案在文本数据库中进行文本检索,通过相似度计算模型计算问题和文本检索获得的各候选初始文本的语义相似度,并筛选出语义相似度大于相似度阈值的初始文本,再通过大语言模型进行初始文本的文本合并,获得答案文本,最后按照初始文本关联的多媒体数据与答案文本的位置关联关系,对多媒体数据和答案文本进行拼接获得问题的多模态答案数据,以此实现对问题的多模态答案数据的生成。
技术关键词
答案生成方法
文本
大语言模型
多媒体
多模态
存储标识
数据
计算机可执行指令
生成装置
语义
关系
子模块
生成答案
拼接模块
矩阵
指标
生成设备
可读存储介质