一种基于LLM的历史记录回溯方法

本发明公开了一种基于LLM的历史记录回溯方法，涉及数据检索和自然语言处理领域，本发明的方法包括：在本地计算机中收集用户各类操作数据，再结合OCR技术和ASR技术，提取图片和语音中的文本信息，与相关信息统一格式存储到数据库中；对采集到的多模态数据信息进行处理，首先会对收集的数据进行去重和清洗，再将收集到的截图转换为视频，最后对视频图像帧、OCR结果和语音转录文本进行嵌入向量并存入向量数据库；采用微调技术对预训练的LLM进行特定方向的优化；实现与历史时间线的对话，首先捕获用户输入并存入查询队列，再通过与LLM交互、结合记忆模块和RAG技术生成个性化响应，并展示回答与相关图像或音频链接。