一种多模态行车测试场景生成方法及其系统

本申请公开了一种多模态行车测试场景生成方法及其系统，方法包括：获得多组模型训练样本，每组模型训练样本包括用户自然语言描述、行车场景视觉图像、风险点热力图、安全关键场景描述代码；构建行车测试场景生成架构，并利用多组模型训练样本对行车测试场景生成架构进行训练，得到训练后的行车测试场景生成架构；其中，行车测试场景生成架构包括图像内容编码模型、风险点挖掘模型、热力图编码模型以及大语言模型，风险点挖掘模型和热力图编码模型串联，且图像内容编码模型和热力图编码模型的输出端分别与大语言模型的输入端相连；利用训练后的行车测试场景生成架构，根据输入的用户自然语言描述和行车场景视觉图像生成多模态行车测试场景。