一种基于多模态模型的GUI异常检测方法

本发明公开了一种基于多模态模型的GUI异常检测方法，包括：S1，设计多模态模型架构，用于融合文字模态和图像模态的特征；S2，在正常UI数据集上让模型学习到不同类型的组件和文字的匹配，和一些常见类型的UI异常的图文匹配能力，使得模型具有few shot能力；S3，对基于用户使用DSL定义的异常生成的小量数据集，进行few‑shot的模型微调，使得模型拥有识别新种类UI异常的能力；S4，使用文字提示和多模态模型进行UI异常的检测。本方法包括如何构建具有零样本和小样本迁移能力的多模态模型以及如何使用多模态模型进行GUI异常检测，本发明仅需在小样本数据集上微调模型，便可达到很好的GUI异常检测效果。