一种基于跨模态知识图谱的陪护机器人决策方法、装置、设备及介质

本申请涉及一种基于跨模态知识图谱的陪护机器人决策方法、装置、设备及介质。所述方法包括：获取原始多模态传感器数据，并对原始多模态传感器数据进行时间对齐和感知特征提取，得到感知单元集合；对感知单元集合进行融合，得到时序语义向量和语义候选实体；更新跨模态知识图谱，并采用图神经网络对更新后的跨模态知识图谱进行条件化聚合和读出抽取，得到带概率分布的情绪状态向量、环境语义摘要和触发因子集合，并结合长期用户画像与预设任务约束进行图条件化决策生成陪护机器人执行指令。采用本方法能够通过多模态时序融合与基于时间超边的跨模态知识图谱，结合条件化图推理与个性化策略，实现对陪护场景的实时决策与长期自适应。