摘要
一种多模态模型分析增强的方法、系统、设备及存储介质,涉及数据分析领域。在该方法中,构建目标领域的类型知识库,类型知识库包括目标领域的分类类型和分类类型对应的知识;当接收到用户输入的问题时,将问题拆分成图像和原始文本,将图像输入到已训练的神经网络模型中以得到图像所属的目标类型,根据目标类型在类型知识库中匹配对应的目标知识;将目标知识填充到原始文本中的预设位置以得到填充文本,将填充文本和图像输入到已训练的多模态大模型中以得到问题的答案。实施本申请提供的技术方案,通过结合不同类型的知识和多模态数据,提高了问题解答的准确性和丰富性。
技术关键词
多模态
神经网络模型
答案
生成特征向量
辅助分类器
网络接口
中间层
匹配模块
文本编码器
图像编码器
可读存储介质
标识符
设备通信
电子设备
存储器
指令
跨模态
系统为您推荐了相关专利信息
妊娠糖尿病
径向基神经网络模型
指标
医学诊疗技术
网络结构设计
时间序列分析技术
轨迹模型
特征提取技术
智能识别方法
分布式计算框架
智能识别方法
多模态数据融合
监督学习技术
模型更新
深度学习模型
灯光控制信号
灯光设备
参数
生成语音
生成控制指令
半监督学习
实体关系抽取模型
大语言模型
数据
标签