基于视觉感知的多模态车辆轨迹预测和训练方法及其装置

本发明公开了一种基于视觉感知的多模态车辆轨迹预测和训练方法及其装置，预测方法包括：从连续帧BEV图像中提取目标车辆及环境车辆的历史轨迹；通过学习其中的历史时序信息和目标车辆与环境车辆的交互关系，并输出交互与时序特征；针对未来轨迹的不确定性，采用anchor‑free的策略，输出目标车辆未来的多模态轨迹。预测方法能够获取完整且连续的车辆轨迹，实现从视觉感知‑轨迹预测的路线贯通，实现了以原始视觉感知信息为输入的多模态轨迹预测。训练方法为分模块的训练方法，分别给出不同模块相应的训练超参数以及合适的隐藏层数和网络层数，有助于不同模块实现最佳网络性能，提高最终的模型预测效果。