摘要
本发明涉及数字人交互技术领域,具体涉及基于多模态图检索增强生成的多角色数字人构建方法,包括以下步骤:S1:采用图检索增强生成技术构建外部知识库,构建用于进行多模态处理的大语言模型;S2:创建数字人接口以供外部信息输入;S3:建立数字人架构,集成大语言模型和外部知识库,以进行数字人问答工作。本发明通过图检索增强生成技术为大语言模型提供外部知识库,并采用多模态处理的方式辅助进行数字人问答工作,能够实现数字人以特定语言风格,使用特定领域知识进行交互的功能,从而提高输出的问答内容质量,能够降低大语言模型的训练成本,提高问答质量,并能够进行数字人的多角色的快速切换。
技术关键词
生成技术
预训练语言模型
大语言模型
多模态信息
图像处理模型
空间约束条件
交互技术
语义
节点
索引
传播算法
项目
图谱
超参数
关键字
视频
接口
摘要
系统为您推荐了相关专利信息
数据分类方法
大语言模型
生成知识图谱
标签
实体
大语言模型
安全性评估方法
多模态
评估装置
机制