一种基于多模态大模型的虚拟人控制方法及装置

本发明实施例提供了一种基于多模态大模型的虚拟人控制方法及装置，解决了现有技术中人工智能对话系统难以同时满足安全性以及灵活性的问题。本发明提供的一种基于多模态大模型的虚拟人控制方法，问答数据库以及RAG知识库以及LLM大语言模型均连接在内网中，通过内网部署，模型和知识库数据在处理流程上完全隔离外部网络，部分需要访问外部互联网的模块通过内网下统一互联网出口访问，确保数据在传输和存储过程中的安全性，避免数据外部攻击和数据泄露的风险。与此同时，语音识别模块则可以与外网连接，可以提升资源利用效率，数据安全强化。