摘要
本申请一些实施例示出一种终端设备及检索方法,所述方法包括:在接收用户输入的检索请求后,语言大模型智能体确定用户意图,以及多模态大模型智能体确定第一页面描述;从数据库中查询历史行为,以及,获取能力库中的第一目标知识图谱;语言大模型智能体做出决策,以确定第一操作;执行第一操作。本申请实施例通过语言大模型、多模态大模型、能力库和数据库的调用,完成用户的需求。依托语言大模型的理解和决策能力,多模态大模型视觉能力拓展,建设能力库,让大模型根据能力库,进行模糊意图的能力确认,从而高效准确检索到用户所需内容,检索范围涵盖终端设备各个应用和功能,灵活性好且维护难度低。
技术关键词
终端设备
意图
图谱
页面
多模态
检索方法
图像
控制器
语音
决策
服务器
接口
文本
数据
显示器
视觉
指令
参数