一种基于深度学习的加壳程序检测系统及方法

本发明公开了一种基于深度学习的加壳程序检测系统及方法，包括数据预处理模块、深度学习编码模型EM'、深度学习三分类模型CM'和最终决策二分类模块MLC'；对二进制数据DRB进行线性反汇编得到对应的汇编指令集合DAI，将其归一化得到归一化的汇编指令集合DNAI，然后以P条指令为跨度将DNAI划分为区域集合R；通过加壳检测领域的预训练任务，使EM'模型理解特定区域中的指令内结构和指令间组合关系，从而具备为区域生成高质量特征的能力；通过代码区域、普通数据区域和加壳数据区域三分类微调任务，使CM'模型具备区域加壳检测能力；通过最终决策二分类任务，对DRB多个区域的三分类结果进行统计汇总作为其最终特征，输入到最终决策二分类模块中进行训练，得到能够决策程序加壳与否的MLC'；本发明在识别准确率，以及对对抗样本的鲁棒性上显著优于现有前沿加壳检测工具。