摘要
本发明提出了一种基于多模态大模型的任务解析执行方法及系统,属于计算机领域,包括:S1、接收多模态任务数据并采用双层次跨模态融合机制对多模态任务数据进行统一编码融合,得到融合特征;S2、基于多模态嵌入对齐机制对融合特征进行对齐处理,得到对齐特征,并使用预训练语言模型基于对齐特征进行结构化任务解析,得到任务描述;S3、将复合任务分解为原子任务,并利用Actor‑Critic网络学习最优分解策略形成原子任务集合;S4、通过协同感知的动态调度机制生成综合适配评分,并基于综合适配评分进行任务分布式执行。本发明将复杂任务智能分解为可并行执行的原子任务集合进行任务分布式执行,提升任务理解的准确性和执行效率。
技术关键词
解析执行方法
多模态
预训练语言模型
综合语义
跨模态
协同注意力
机制
语义向量
节点特征
融合特征评估
网络拥塞程度
编码特征
独立编码器
策略
系统为您推荐了相关专利信息
多模态身份认证
智能监管系统
智能监管方法
视觉检测模块
焊接变位机
治疗床
多模态
调节执行机构
安全监控模块
人机交互终端