一种利用RAG技术增强网页导航的方法及相关装置

本申请公开了一种利用RAG技术增强网页导航的方法及相关装置，方法包括：获取用户需求，执行循环步骤直至用户需求完成；循环步骤包括：根据用户需求、网页截图和历史操作，利用第一多模态大语言模型生成操作序列；选取所述操作序列的第一条作为当前操作需求，利用检索增强生成RAG技术提取网页HTML中与当前操作需求相关的网页元素，作为检索结果；根据当前操作需求、检索结果以及网页截图预测当前需要操作的网页元素以及操作类型；获取按照对应的操作类型执行当前需要操作的网页元素得到的执行结果，并根据执行结果更新网页截图和历史操作。利用RAG技术检索用户需求相关的网页元素，提高了MLLM生成结果以及网页导航的可靠性。