摘要
本发明公开了一种基于大模型的多粒度脑语义对齐方法,包括:句子粒度上,基于保留动程的词序打乱操作进行同语义不同句法句子集合的生成;利用大语言模型对句子的编码功能提取集合中的句子表征再平均,获得句义表征向量;通过线性拟合模型,用句义表征预测人脑个位置功能性磁共振的强度,获得人脑中与句义理解相关的位置。单词粒度上,构建无监督的概率统计模型,引入对齐关系与产出率描述单词与人脑脑区间的激活关系;使用期望最大化方法进行参数迭代,训练模型直到收敛,得到单词到脑区的对齐概率。本发明通过对句子、单词两个粒度分别建模,在文本‑脑活动记录的平行数据集上进行实验,得到多粒度下人脑语义理解的脑区分布。
技术关键词
功能性磁共振成像
人脑
对齐方法
大语言模型
概率统计模型
皮尔逊相关系数
语义
最大化方法
语法结构
参数
编码技术
拉格朗日
成分分析
无监督
数据
文本
训练集
核心