基于多模态交互的智能陪伴机器人系统及控制方法

本发明介绍了一种基于多模态交互的智能陪伴机器人系统及控制方法，其采用双芯片协同构架，实现多模态情感交互。该设备通过ESP32‑S3芯片在本地离线运行量化优化的轻量级人脸识别和语音检测模型，对用户的面部表情和语音情感进行实时分析；同时采用STM32F103RCT6芯片负责外设控制，包括OLED表情显示、伺服电机驱动的肢体动作、音乐反馈模块，实现直观、动态的情感反馈。利用任务轮询机制，在有限计算资源下高效交替处理人脸与语音识别任务，确保系统低功耗、高响应性。该发明不仅提高了智能玩具的交互自然度和用户沉浸感，而且具有良好的个性化情绪调节效果，适用于儿童陪伴、心理疏导及特人群辅助等领域。