摘要
本发明公开了基于混合专家模型与大语言模型的三维分子文本理解方法,所述三维分子文本理解方法包括:构建混合专家模型的新MoE层,所述MoE层包括多个专家,通过跨模态投影器对任务信息文本及文本上下文进行编码并输入至混合专家模型的路由中;训练处理不同任务的分子编码器,将训练后的分子编码器整合至统一的3D分子编码器中。本发明通过引入文本辅助的MoE层,将任务信息注入路由输入,增强了模型处理特定任务的能力,且提供一种能够同时理解2D、3D分子以及各种不同分子性质的通用模型。通过结合多种分子编码器,提高了对分子特性的全面理解。通过设计分子‑文本映射器,促进了分子特征与文本之间的深度融合,提升了模型对三维分子文本理解能力。
技术关键词
分子
文本理解
编码器
训练语言模型
标记
监督学习模型
跨模态
非暂态计算机可读存储介质
处理器
注意力机制
编码模块
输出模块
数据
存储器
坐标
代表
节点
系统为您推荐了相关专利信息
变电站设备
注意力机制
时间段
GRU模型
处理单元
水工建筑物检测
多波束测深系统
异常数据
测深设备
水工建筑物混凝土