基于多模态数据和垂类大模型的心理咨询机器人

本申请涉及一种基于多模态数据和垂类大模型的心理咨询机器人。该机器人用于提供家庭、学校、企业等场景的心理咨询服务，前端依托智能机器人终端，以虚拟数字人为人机交互的主要方式，辅以多模态情绪识别以增强心理咨询效果；后端以智能代理为控制核心，以心理大模型为计算平台。利用大模型强大的语义理解与对话交互能力，结合表情和语音的多模态模式识别，实现心理评估与心理疗愈功能，同时具备外部知识库的知识补充与查验能力；使用结构化提示结合多模态情绪数据增强的策略，借助检索增强生成和知识图谱技术，充分利用了大模型的性能优势而又同时降低了幻觉问题的发生，并且采用数字人交互方式，减少人际隔阂，提升咨询质量。