一种基于多模态大模型的问答数据处理方法及系统

本发明涉及一种基于多模态大模型的问答数据处理方法及系统，属于数据处理技术领域。包括以下步骤：通过构建关系图捕捉多模态中的细粒度特征关系，获取融合后的多模态特征；通过计算多模态融合特征与知识库中所有知识向量的相似度，设置阈值筛选知识向量构建知识子集；将构建的知识子集输入机器学习模型对用户的问答输入进行意图与场景识别；通过将获取的所有特征进行拼接后输入BLIP的解码器，进行生成预测答案；通过多轮对话收集用户反馈，根据用户反馈生成激励信号不断更新识别特征。本发明通过多模态融合特征进行跨模态知识检索构建知识子集，同时基于知识子集获取识别特征，为用户生成拓展性的引导答案，提升了问答的准确性和满意度。