摘要
本发明公开了一种融合多模态反馈与视觉思维链推理的自主移动平台自适应控制方法及系统,通过专家抽象单元将多种传感器和感知器实时采集的环境数据抽象为结构化表述,与用户语音指令信息一同输入大语言模型。大语言模型生成分段动态强化学习密集奖励函数。采用视觉思维链推理的混合注意力机制,自回归生成多条候选路径及其对应的子目标图像序列,并通过人机界面可视化。用户可通过语音反馈修正指令、视觉反馈修改目标。最后对用户的多模态反馈进行特征对齐,更新密集奖励函数并重新规划路径。系统还可记录用户反馈结果,训练个性化用户偏好模型。本发明具有泛化能力强、反馈效率高等优点。
技术关键词
自主移动平台
大语言模型
注意力机制
多模态交互反馈
人机交互界面
在线学习机制
序列
视觉
图像
语义向量
连续动作空间
三元组
强化学习框架
解析单元
语义分割网络
损失函数优化
动态
分段
系统为您推荐了相关专利信息
动态评价方法
隧道
层次分析法
动态评价系统
方程
滑移检测方法
电梯曳引轮
图像分割模型
图像采集装置
嵌入式控制板