语音、视觉、RFID结合多模态模型的玩具交互方法

本发明实施例是一种语音、视觉、RFID结合多模态模型的玩具交互方法：该方法包括一个主玩具单元和多个辅玩具单元，主玩具单元内设有控制器，连接RFID读写器、麦克风、摄像头、RFID标签和扬声器，每个辅玩具单元配备RFID标签；主玩具单元启动时，用户可通过手机连接并设置主玩具单元模式，摄像头收集视觉信息，麦克风收集语音信息并发送信号至多模态模型，当辅玩具单元与主玩具单元靠近时，RFID标签激活并发送信号至多模态模型；模型解析信号后生成模型输出并返回给主玩具单元，主玩具单元随即完成互动响应；主玩具单元根据用户设置模式、玩具各单元的连接状态、RFID标签信息、视觉输入、语音输入，动态调整互动模式和输出内容。本发明实施例可提升交互体验。