用于安全风险识别的多模态大模型的构建方法

本申请提出了一种用于安全风险识别的多模态大模型构建方法，包括以下步骤：构建校园安全多模态数据集，将监控视频数据的监控图像映射为图像特征序列，将对应当前监控视频数据的环境传感器数据、设施维护数据以及安全反馈数据转换为文本特征序列；对图像特征序列和文本特征序列进行多模态感知流式处理以及空间语义对齐得到同一组多模态输入序列；使用多模态输入序列对生成式transformer模型的解码器进行微调得到安全风险识别模型。本方案通过构建包含监控视频、环境传感器等多源数据的校园安全多模态数据集，并结合生成式 Transformer 模型进行微调从而得到安全风险识别模型，从而使用安全风险识别模型来实现对校园安全风险的精准识别与高效定位。