摘要
本发明提供一种基于眼动追踪的自动化任务控制方法及装置、车辆,该方法包括:获取用户的眼部图像,并对眼部图像进行处理,得到用户的注视点区域数据;利用训练好的轻量化视觉‑语言理解模型,对注视点区域数据进行理解,得到用户意图;基于用户意图,与已学习到的任务规则进行匹配,得到匹配结果;根据匹配结果创建任务并发出控制指令。以用户的眼部图像为切入点,通过对眼部图像的处理得到用户的注视点区域,并通过对注视点区域的智能分析得到最终的匹配结果,从而实现任务的自动创建和执行,通过用户的注视区域来进行任务的触发,相当于引入了一个任务触发机制,避免了完全自动化任务所带来的意向判断不准确的情况,进一步提高用户使用体验。
技术关键词
注视点
语言理解模型
三元组
意图
三维空间模型
可见光图像
数据
车辆
多层次
卡尔曼滤波器
三轴加速度
图像处理单元
置信度阈值
模式
执行主体
红外摄像头
视觉
注意力机制
眼球