端到端多任务立体深度与语义融合的视觉感知系统及方法

本申请提供一种端到端多任务立体深度与语义融合的视觉感知系统及方法。包括：图像采集模块，用于输出携带标定参数标识的图像数据；融合预处理模块，用于对同步图像对进行处理，得到配准图像对；多任务网络模块，包括共享特征提取层、深度估计分支与语义分割分支；多任务耦合单元，用于对共享特征与分支特征施加一致性约束，并在分支间传递几何先验与类别先验；输出接口模块，用于将深度图与语义掩码按预设数据结构封装，并通过工业实时通信接口输出至外部执行控制系统的实时控制接口以供调用。本申请能够实现端到端低时延与确定性输出、时间同步与标定一致性维护、紧凑集成与简化布线，并稳定向控制系统提供高精度深度图与语义掩码。