自动驾驶多模态感知数据信息融合方法

本发明公开了一种自动驾驶多模态感知数据信息融合方法，主要构思在于摒弃稠密算法，转为采用基于稀疏特征的多模态融合。具体地，预先获取车上不同模态感知数据的特征图；基于感知数据中目标点的实例特征，得到各模态共用的表征一个目标物的参考点；生成对应参考点的多个衍生点，将参考点及其衍生点的位置信息投影至不同模态感知数据各自的坐标系中；基于参考点及其衍生点在各模态中的坐标系，分别对相应的特征图进行特征采样；根据不同的模态感知数据的来源，对各模态特征分别配置权重并执行融合。本发明将不同模态共用的参考点投影回各模态后，再分别进行特征采样并融合，此方式能够有效解决多模态融合算力庞大的问题，且具备提升精准度的效果。