一种基于多摄像机视线追踪与大模型集成的多模态交互智能机器人系统

本发明公开了一种基于多摄像机视线追踪与大模型集成的多模态交互智能系统及方法，属于机器人技术领域。为解决现有技术视线追踪不准、多模态融合不足、交互不智能的问题，本发明的技术方案要点包括：通过多摄像机阵列计算用户三维视线向量，并利用神经网络进行个性化校准以提升精度；基于精确时间戳，将视线向量与语音、手势等其他模态数据进行同步融合，形成统一的上下文向量；将该向量提交至预训练大模型进行意图理解与决策，并驱动交互终端执行任务。本发明能够显著提升人机交互的准确性与自然度，可广泛应用于教育、医疗及科学研究等领域。