一种基于ARM和双GPGPU架构的大模型推理装置

本申请涉及大模型推理技术领域，其具体地公开了一种基于ARM和双GPGPU架构的大模型推理装置，其采用ARM和双GPGPU架构，充分利用二者计算优势，避免单处理器架构的处理瓶颈，大幅提升海量高清监控图像的处理速度，减少数据积压和延迟，能够及时对监控图像进行分析，为快速发现潜在安全威胁提供可能。同时，通过挖掘图像深度语义信息，改变简单图像分析算法在复杂场景下的劣势，有效提高对异常行为和潜在危险的精准识别能力，降低误报率和漏报率，提升安防监控系统可靠性。