摘要
本发明公开了一种基于大语言模型的长对话用户行为分析方法;包括用户行为分析大模型模块、长对话嵌入压缩记忆模块和领域特定检索增强微调模块。用户行为分析大模型模块基于大语言模型对用户之间的长对话进行分析,对用户的行为进行研判;通过对基于Transformer架构的大语言模型引入长对话嵌入压缩记忆模块,结合掩码局部注意力和长期线性注意力机制,使用户行为分析大模型模块能够以有限的内存和计算资源处理长对话;领域特定检索增强微调模块通过结合指令微调和检索增强生成,用于提升大语言模型在特定法律领域的用户行为分析能力。
技术关键词
大语言模型
分析方法
记忆
模块
注意力机制
生成答案
文本
可视化图表
编码策略
内存
数据
生成用户
报告
键值
检查点
分段
线性
样本
系统为您推荐了相关专利信息
多重保护功能
音频系统
系统运行状态
电源切换控制模块
功率放大模块
伺服电机
故障诊断系统
故障特征
历史故障数据
故障诊断模型
实体
路径生成方法
交叉注意力机制
推理规则
文本
个性化特征
音频特征
音频编码器
动画生成方法
解码器
DPD方法
神经网络模型
样本
注意力神经网络
导频信号