一种海量网络直播批量数据采集方法及系统

本发明提出了一种海量网络直播批量数据采集方法及系统，属于数据处理和信息领域。方法包括：通过群控系统模块集中管控多个移动终端设备，实现多平台直播APP的同步运行；基于Appium框架构建自动化采集模块，模拟真实用户交互行为，抓取直播间元数据；利用Scrapy‑Redis框架构建分布式爬虫引擎，实时解析直播流媒体源地址，对直播视频流进行分块存储和格式转换；采用多模态大模型对直播内容进行视频理解和语义分析，识别违规行为，并生成违规分析报告。本发明解决了传统直播监管技术效率低、覆盖面窄、分析能力有限的问题，显著提升了大规模直播内容监管的自动化水平和准确性。