一种多模态融合的问答方法、装置、电子设备及存储介质

本发明公开了一种多模态融合的问答方法、装置、电子设备及存储介质，用于解决现有的多模态问答系统准确率较低、泛化性较差的技术问题。本发明包括：接收多模态输入问题；从所述多模态输入问题中提取问题、辅助文本、表格和图像；对所述图像进行图像标注，得到标注文本；采用表格线性化对所述表格进行文本模态转换，得到表格文本；采用所述辅助文本、所述图像和所述表格文本进行中间推理，得到推理文本；将所述问题、所述推理文本、所述标注文本和所述表格文本进行拼接，得到输入文本；将所述输入文本输入预训练的大语言模型，输出所述多模态输入问题的答案。