基于VLN与EHMI的双向社交意图交互方法及其应用

本发明公开了一种基于VLN与EHMI的双向社交意图交互方法及其应用，步骤：通过采集真实场景中的自主移动平台的视频，并分析其中社交参与者的手势、视线等特征，结合动作类型、意图及环境上下文进行VLM训练；自主移动平台上部署的多模态传感器捕捉语音信息和环境图像信息，分析并预测后续动作，并通过EHMI以短文本或图形形式呈现，帮助用户精准了解其行动路径，通过这一系统实现了VLM环境理解、用户意图捕捉、动作规划分析和环境反馈优化的闭环。本发明的方法提升自主移动平台在复杂社交场景中的响应效率和准确率，增强了用户的自我表达与互动能力，满足用户社交需要，应用前景好。