摘要
本发明公开了基于大语言模型的城市兴趣点表征学习语义增强系统,本发明系统中针对兴趣点表征学习这一任务设计了三类不同的提示词,而每一类提示词又由三个不同部分组成,每个部分为大语言模型提供不同方面的信息,以提高大语言模型生成的结果的质量;另外,本发明将大语言模型的最后一个隐层输出作为其输出的特征向量,并使用交叉注意力机制与来将不同种类的提示词所提取出来的信息进行对齐,再使用多层感知机与加权和将对齐好的特征向量进行融合,最后使用这一融合结果基于交叉注意力机制来增强兴趣点的表征。通过从三个角度展开对比学习,最终可以得到比原兴趣点表征质量更高的表征向量,从而达成增强兴趣点表征的目的。
技术关键词
兴趣点
大语言模型
交叉注意力机制
语义
特征提取模块
多层感知机
样本
度函数
序列
自然语言
处理器
三元组
存储器
表达式
电子设备
模式
指令
地图
系统为您推荐了相关专利信息
评论分析系统
餐饮商户
大语言模型
分析单元
分析模块
香烟识别方法
多头注意力机制
专用数据集
矩阵
输出特征
异常检测方法
Softmax函数
编码器
门控循环单元
解码器结构
识别方法
无人机
数据扩增方法
可见光图像
特征提取模块