基于转换器模型进行视听模态融合的具身视听导航方法

本发明公开了一种基于转换器模型进行视听模态融合的具身视听导航方法，包括以下步骤：采集视觉信息和听觉信息；最大化预期折扣回报与奖励；分别使用两个编码器对视听感官进行特征提取；使用空间音频编码器进行特征映射；对视觉和听觉两个模态的信息进行融合；使用动态路径长度加权成功衡量声源为移动声源的任务的策略；使用近端策略优化算法训练网络。本发明能施更好地协同了视觉与听觉输入，使得视听模态得以更好地融合，以提高导航的准确性与精度。本发明使用转换器模型代替传统的门控循环单元，能满足在嘈杂环境以及动态声源任务中的高难度导航要求。本发明使用近端策略优化算法进行训练，节省了人力，提高了经济效益。