摘要
本发明公开了一种融合多模态大模型与增强现实的老年人日常活动辅助系统,涉及活动辅助领域。系统包括辅助软件和增强现实眼镜,所述辅助软件安装在与增强现实眼镜连接的智能手机终端上,通过增强现实眼镜采集多模态输入数据并送入多模态大模型中,经过多模态大模型处理后获得反馈信息并以文本和语音的形式虚拟呈现在增强现实眼镜中,所述多模态输入数据包括环境图像和文本或语音问题;所述增强现实眼镜用于采集多模态输入数据并将环境图像和多模态大模型的指导反馈信息虚拟呈现出来。本发明功能全面,具有广泛的现实应用场景,系统通过增强现实眼镜对老年人日常活动中遇到的问题提供相应的指导反馈,提高老年人活动质量。
技术关键词
多模态
现实眼镜
老年人
辅助系统
数据获取模块
智能感知模块
大语言模型
语音
文本反馈信息
图像采集模块
图像编码
集成模块
信息模块
采样模块
编码模块
蓝牙模块