基于半监督学习的UI元素智能分类方法、系统及产品

本发明公开了一种基于半监督学习的UI元素智能分类方法、系统及产品，以Transformer结构为基础，引入Mean Teacher一致性正则机制以提升模型在小样本条件下的泛化能力，通过多模态特征融合实现对碎片化与重叠化UI元素的精准分类与结构化分组。首先对每个UI元素提取图像、文本、颜色、位置与类别等多源特征，并统一编码为256维嵌入表示；然后将嵌入序列输入多层Transformer编码器进行上下文建模，输出三类结构标签并据此自动完成元素分组；本发明能够有效提升UI元素分类的准确性与稳定性，减少对人工标注的依赖，适用于界面自动生成、低代码开发、UI原型解析与交互行为建模等场景。