一种以多模态大模型为基础的跨平台UI自动化测试方法

本发明涉及一种基于多模态大模型的跨平台UI自动化测试方法，属于UI自动化测试技术领域。该方法包括从不同平台的UI界面中采集多种模态的数据，并对采集到的多模态数据进行预处理；将预处理后的多模态数据输入多模态大模型中，进行特征融合，形成多模态特征表示；根据测试需求和多模态大模型的输出，自动生成跨平台的测试脚本，通过与各个平台的代理程序或驱动程序交互，模拟用户操作；利用多模态大模型对测试结果进行智能分析，包括对测试过程中产生的多模态数据的综合评估；自动识别测试中的异常情况和潜在问题，得到分析结果；并自动生成详细的测试报告，解决了传统U I测试中视觉验证缺失、跨平台兼容性差、维护成本高等问题。