基于交互式增强学习的游戏实时智能翻译方法及装置

本申请提供一种基于交互式增强学习的游戏实时智能翻译方法及装置。该方法包括：根据当前游戏画面信息及用户操作习惯信息确定对应的屏幕捕获模式；根据屏幕捕获模式，对当前游戏画面进行动态感知；利用上下文增强的图像识别模型对用户关注区域内的图像数据进行文本识别，并根据游戏场景专属的上下文知识库与用户操作历史信息获得识别文本；将识别文本及相应图像数据和用户操作历史信息输入多模态融合翻译模型，生成目标语言文本；基于识别文本与目标语言文本的对应关系，利用增强现实方式在原始外文区域上渲染目标语言文本。本申请实现游戏画面内容的实时、自动、沉浸式翻译，不仅能够处理大量连续文本，而且翻译结果更加符合游戏场景。