针对文生图大模型生成内容的安全风险检测方法、装置

本发明提出了一种针对文生图大模型生成内容的安全风险检测方法、装置，该方法包括：基于预设的测试数据库，根据测试参数选择测试类别，根据测试类别从测试数据库中匹配对应的数据集；将数据集中的关键词按照正向提示词的格式批量输入到被测大模型中；对被测大模型根据输入的提示词生成的相应图片或视频图像进行内容安全检测；对被测大模型根据输入的提示词生成的相应图片或视频图像进行水印标识检测；根据内容安全检测结果和水印标识检测结果，分析得到检测报告。本申请根据测试数据库，基于输入提示词、内容标注以及输出视频内容的特性对大模型系统的风险进行外部评估，提高了检测评估方法的准确性和有效性。