一种基于多模态交互与大语言模型的机器人材质识别系统

一种基于多模态交互与大语言模型的机器人材质识别系统，包括多模态输入模块，用于获取自然语言指令、增强现实设备交互信息以及来自触觉传感器的材质感知数据；材质识别模块用于对传感数据进行滤波、归一化和特征分类；自然语言解析模块基于大语言模型解析用户任务语义；数据库模块提供材料属性、交互记录和任务相关背景知识；机器人控制模块生成操作路径并驱动机器人执行；增强现实输出模块用于将识别结果与控制策略在真实场景中可视化展示；多模态协调策略单元用于融合语言意图与感知结果，形成统一的执行方案；本发明具备自然语言理解、触觉感知判断与实时可视化能力，实现任务智能化、执行可调控、交互透明化，具有良好的适应性与拓展性。