基于大模型的用户界面操作方法、装置、设备和介质

本申请涉及一种基于大模型的用户界面操作方法、装置、设备和介质。操作方法包括，对用户的多通道交互信息进行融合处理，形成用户交互任务描述；从记忆库中检索获得与所述用户交互任务描述匹配的历史交互经验和外部知识；将所述用户交互任务描述、历史交互经验、外部知识输入提示词生成大模型，生成结构化提示词；将结构化提示词输入大模型，生成能够对用户界面进行操作的结构化操作指令，对用户界面进行操作。本发明综合利用了语音、视觉、手势和触控等多通道感知数据和生成式人工智能，实现对用户交互任务的深度理解与高效执行。