摘要
本发明公开了一种基于思维链的多模态协同数字人交互方法及相关设备,其中方法通过多模态感知模块接收用户输入的语言、动作及文本信号,结合历史对话场景生成思维链驱动的多模态思维链,所述思维链动态绑定语音、动作及表情的时序节点并定义其语义关联;通过实时协同校验机制验证多模态输出的情感一致性、时序连贯性及意图匹配度,触发思维链局部回溯与动态修正;最终驱动数字人按优化后的思维链输出协同化的语音、动作及表情。本发明采用大语言模型生成多模态交互思维链,通过时序化绑定与实时校验机制,实现数字人输出的语义深度协同与动态适应性,解决传统技术中多模态割裂、意图匹配偏差及响应僵化问题,显著提升交互拟真度与场景鲁棒性。
技术关键词
人交互方法
执行用户意图
生成数字人
语义标签
文本
生成自然语言
校验机制
大语言模型
跨模态
关键词
计算机程序产品
生成规则
姿态估计算法
多模态交互
语音识别技术
场景
系统为您推荐了相关专利信息
心血管疾病预测
多模态
信号处理模块
大语言模型
损失函数优化
图书
数据治理方法
字段
深度学习模型
数据治理技术
数据采集模块
闭环反馈机制
多语种语音
多模态
合规性