一种虚实多模态知识迁移的行人穿越预测方法及系统

一种虚实多模态知识迁移的行人穿越预测方法及系统，包括：通过利用合成数据中的行人框对知识提取器中的教师模型进行预训练，得到获取未来p时刻的行人框数据特征；通过风格转换器，将合成数据的RGB帧在各种条件下的视觉特征转化为对应的真实RGB图；将合成深度图、合成语义分割图与真实RGB图进行整合，得到共享特征嵌入；将行人框数据特征、风格转换特征以及共享特征整合进可学习的门控单元进行融合，预测行人穿越意图信号。采用整合风格迁移、分布逼近与知识蒸馏的框架，旨在高效处理视觉、语义、深度及边界框等多元信息，以显著提升行人过马路预测的准确性。