摘要
本申请公开了一种基于LoRA的大模型微调方法、装置、设备及介质,属于量子计算技术领域,方法包括:利用张量分解技术,分解目标数据,得到表征所述目标数据经第一低秩矩阵后的结果,作为第一数据,其中,所述目标数据为目标大模型的训练数据,所述第一低秩矩阵由分解所述目标数据所利用的核心张量表征;基于所述第一数据,通过用于提取高维特征的量子神经网络,获得第二数据;基于所述第二数据,利用张量分解技术,得到表征所述目标数据经第一低秩矩阵和第二低秩矩阵后的结果,作为第三数据,其中,所述第二低秩矩阵由当前分解所利用的核心张量表征;利用第三数据,分别更新表征第一低秩矩阵的核心张量和表征第二低秩矩阵的核心张量。应用本申请实施例,可以实现更高效的模型微调。
技术关键词
张量分解技术
量子神经网络
矩阵
数据
微调方法
核心
量子计算技术
特征提取模块
微调装置
计算机设备
可读存储介质
存储器
处理器
线性
元素
系统为您推荐了相关专利信息
能力优化方法
序列特征
动态时间规整算法
自然语言
代表
数值天气预报数据
光伏发电站
光伏功率预测方法
曲线
计算机程序产品
智能控制模块
环境数据采集单元
黑茶提取物
可视化模块
数据采集模块