基于多模态融合与视觉语言模型的机器人避障与导航方法

本发明提供一种基于多模态融合与视觉语言模型的机器人避障与导航方法，该方法包括通过多种传感器实时采集不同的模态数据，并进行时间同步处理和归一化处理；提取不同模态数据的特征并通过中间层进行融合；将融合后的多模态数据输入视觉语言模型，并利用模型的语义分割和目标检测结果，生成环境的语义地图，结合自然语言指令和视觉分析结果生成行动策略，将生成的行动策略转化为机器人可执行的控制信号，实现闭环控制。本发明将视觉语言模型与多模态传感器融合技术相结合，旨在提升移动机器人在复杂动态环境下的感知、决策与实时响应能力。