一种基于多模态大模型的用户界面自动化断言方法、系统及程序产品

本发明公开了一种基于多模态大模型的用户界面自动化断言方法、系统及程序产品，应用于UI自动化测试领域。为解决传统断言编写复杂、低效且难以描述视觉预期的问题，本方法包括：获取待测UI的屏幕图像及描述预期状态的文本指令；将图像与文本指令输入至配置为联合处理图文的多模态大模型(MLLM)；利用MLLM的图文联合理解能力，分析图像中的实际UI状态是否满足文本指令的预期；基于模型判定结果生成最终断言结果。本发明以MLLM的智能分析替代复杂的断言编码，允许使用自然语言或结构化文本定义预期，显著简化了断言创建，提升了UI测试开发效率与可维护性，并能更灵活准确地验证视觉层面的UI状态。