一种基于多模态传感和低负荷反馈的视力障碍辅助方法、系统及介质

本申请公开一种基于多模态传感和低负荷反馈的视力障碍辅助方法、系统及介质，涉及视力障碍辅助领域，方法包括：获取视力障碍者前方的环境图像以及自身的原始加速度数据；对环境图像和加速度数据进行时间对齐和空间对齐后，得到第二彩色图、第二深度图和第二加速度数据；基于上述数据进行模糊和暗光图判断；确定第二深度图中无障碍的区块；选择离目标物体最近且无障碍的区块的中心方向为目标方向，获取目标方向信息；基于目标方向信息进行声音编码得到空间音频，广播空间音频并引导视力障碍者靠近目标物体。本申请采用多模态传感的方式提高了视力障碍辅助的有效性，同时对视力障碍者采用了负荷更低的非视觉反馈，对计算资源的要求更低。