一种基于多模态大模型的图表分析方法、架构及终端

本发明公开了一种基于多模态大模型的图表分析方法、架构及终端，所述方法包括：多模态大模型的视觉编码器对待分析的图表进行投影处理，得到多个视觉投影令牌；所述多模态大模型的专家桥接模块对多个所述视觉投影令牌进行转换处理，分别得到多个视觉投影序列；所述多模态大模型的大语言模型对用户提问文本进行预处理，得到多个文本投影序列，并将多个所述视觉投影序列和多个所述文本投影序列进行拼接，得到多个拼接序列；所述大语言模型对多个所述拼接序列进行序列解码处理，得到与所述用户提问文本对应的图表应答结果。本发明通过构建多模态大模型，能够实现对图表内容的准确分析，并有效提高了图表的解析效率以及应答准确率。