摘要
本发明公开一种AI多模态融合交互方法、装置、系统及设备,边缘设备获取用户在当前场景模式下的多模态信息;将多模态信息进行预处理,输出符合当前场景模式的结果数据;当边缘设备开启上传权限且AI功能模块无法满足多模态信息处理要求时,将结果数据发送至云服务设备,使云服务设备按照多模态信息的优先级处理策略进行处理生成多模态融合数据,并返回边缘设备进行存储,使边缘设备根据业务需求决定是否发布多模态融合数据,并同步至移动终端设备。本发明能够根据不同的场景需求灵活切换至对应场景模式,并在边缘设备集成各AI功能模块,以触发对应的AI功能模块对多模态信息进行处理,发送至云服务设备融合处理,实现多模态信息的高效处理与融合。
技术关键词
多模态信息
云服务设备
移动终端设备
功能模块
会议场景
模式
交互方法
智能驾驶场景
执行动作信息
智能家居场景
AI语音
信息处理
切换逻辑模块
多媒体平台
策略
数据发布
系统为您推荐了相关专利信息
流行度预测方法
融合专家
图像编码器
社交
模型预训练
机柜内部设备
设备标牌
多模态信息
通信机柜
TOF传感器
模板匹配装置
意图识别
匹配模块
意图分类模型
功能模块