左下角的血条、右下角的小地图,还有这一连串丝滑的跑酷动作……

视频来源:X@awesome_visuals
看到这个画面,你是不是以为《疯狂动物城2》这边刚拿下中国影史进口动画片票房第一,那边就趁势要推出 3A 开放世界游戏了?甚至这光影和物理碰撞,比很多大厂的游戏都要真实。
但这其实是一段 100% 由 AI 生成的视频。就在这几天,这段视频在国外社交媒体创下 1500 万浏览量纪录。

截至 12 月 5 日下午 4 点 18 分,《疯狂动物城2》累计票房 23.04 亿元,已成为中国影史进口动画片票房第一
评论区的网友都在说,这简直不敢相信,如果这个视频演示是可交互的,一种的全新的游戏类型可能马上就要诞生了;还有人说,哪是新的游戏,我们看的电视剧,也不过如此了。
视频创作者在介绍里面提到,这段 10s 的视频是由 Nano Banana Pro、可灵以及图片视频强化 AI 工具 Topaz 来完成的。

这名博主很快又更新了另一个视频,驯龙高手,同样是用 Nano Banana Pro 和可灵等 AI 工具来制作。今年六月,真人版驯龙高手上映,虽然没有动画版评分高,但也收获了一大波好评。现在这个 AI 游戏版,画面设计和审美,网友表示马马虎虎,也能买单。
有人问博主,这些视频都是怎么做的;她回了一句,就是先用 Nano Banana Pro 生成你想呈现的画面,接下来就是不断的尝试。

这个教程也太朴素了,能不能直接给我一套提示词,让我也去试试,是不是 AI 模型真的有这么厉害了。
快手的视频生成模型可灵,在这周一连五天,更新了 O1、2.6 等多款音视频图片模型。社交媒体上用可灵生成的 AI 视频,确实一个比一个真实。
无论是物理世界的运动规律,还是各种复杂的镜头语言,整体质感和过去,可能两三个月之前,又完全不是一个级别。
我们也用 Nano Banana Pro 和 AI 视频工具可灵、Google Veo 3.1、Sora 2 Pro 等,尝试了多个有意思的玩法,还提供了详细的提示词。
疯狂动物城的游戏系列,不能只有大世界
让 Judy 一个人在游戏里面奔跑多寂寞,我们直接上传自己的照片,然后拉上 Nick,一起在游戏里面冲刺。

虽然文字效果,除了来自 Nano Banana Pro 的首帧,剩下的片段就崩掉了,但是视频动效真的很强。
我们先用一张真实人物的照片,丢给 Nano Banana Pro,让它给我们生成一张首帧图。
提示词:一张开放世界游戏截图,背景设定在迪士尼的《疯狂动物城》。 使用提供的真人照片作为主要可玩角色,但将此人转换为《疯狂动物城》风格的3D动画角色。将参考图片中的朱迪和尼克放在真人的左右两边,两者均以全3D动画电影风格呈现,与其参考姿势完美一致。场景是一个明亮白天的《疯狂动物城》城市街道:高耸弯曲的大楼、多彩店面,以及许多拟人化动物 NPC 在背景中行走互动。
添加完整开放世界游戏 HUD 界面: 左下角:玩家头像(基于真人脸部)及耐力条; 右上角:显示周围街道的小型圆形地图; 顶部中央:任务文字:「与朱迪和尼克会合 → 12米」; 右侧:三个带冷却环的技能图标; 底部中央:「按E键交互」。16:9 大小,4K 画质。

得到首帧图之后,使用可灵的首尾帧视频生成就能得到最后的视频。不过,和 Nano Banana Pro 对提示词宽松的要求不同,大部分的视频生成模型,还是需要我们给出详细的指令,不然大概率又是一场抽卡游戏。
提示词:在迪士尼《疯狂动物城》的世界中,从包含真人玩家、朱迪、尼克以及完整游戏HUD的提供截图开始,连续10秒开放世界游戏风格追逐场景。保留所有面部特征、比例、服装以及参考画面中的3D动画电影渲染风格。动作开始时,真人玩家角色突然沿着《疯狂动物城》街道向前冲刺,自然的奔跑动画和强烈的前进动态。
摄像机从稍微靠后且居高的位置以动态第三人称视角紧密跟随,具有平滑的游戏式摆动但无过度晃动。朱迪在玩家左侧奔跑,尼克在右侧,两人加速进入快速追逐。他们的动作充满活力:耳朵弹跳,尾巴飘动,制服随着运动而反应,双腿用力蹬地。当三名角色飞速穿过时,《疯狂动物城》环境中的NPC动物纷纷让路。
水果摊摇晃,招牌颤抖,可以看到城市深度和规模。当他们转弯或加速时摄像机可能略微偏移或倾斜,但始终保持连续、流畅并向前移动,使速度感和动力感强烈。光照、阴影及纹理必须完全与《疯狂动物城》动画电影外观一致。
保持所有HUD元素完美稳定并锁定屏幕空间:左下角:玩家头像(来自截图)伴随体力条因冲刺而减少;右上角:圆形小地图根据移动方向轻微更新;顶部中央:任务文字「与朱迪和尼克会合 → 12米」,只是让数字 12 不断下降到 0;整个10秒必须感觉像真实、生动的开放世界游戏录制:玩家、朱迪和尼克高速穿越拥挤的《疯狂动物城》街道,以生动动画电影质量呈现,并展现强烈前进动态感。
除了大世界,我们还用 Nano Banana Pro 生成了多个不同游戏的截图。像是下面的跑跑卡丁车、街头霸王的格斗游戏、马里奥风格的跳跃游戏、还有 Limbo 类的推箱子解谜游戏。

不得不说,Nano Banana Pro 真的很强大,生成这些游戏截图的提示词虽然都比较长,但是我试过,即便精简掉很多内容,出来的效果也是差别很小。
可以参考的提示词方案:一个高度详细的开放世界卡丁车竞速AAA游戏截图,设定在迪士尼的《疯狂动物城》中。使用提供的真人照片作为主要可玩角色,将该人物转换为《疯狂动物城》风格的3D动画角色,同时完全保留面部特征。将人类玩家置于画面中心前景,坐在一辆风格化赛车中。朱迪坐在她自己的蓝色警察主题赛车中,稍微靠后并位于左侧; 尼克坐在绿色狐狸主题赛车中,稍微靠后并位于右侧。
所有角色应与其参考图像完全一致,并保持《疯狂动物城》的3D动画电影比例、阴影和材质。场景是一个明亮多彩的《疯狂动物城》赛道:弯曲道路、生动的动物主题建筑、欢呼的人形动物NPC观众、旗帜、横幅、赛道边界。添加常见的赛车竞速游戏HUD叠加层,16:9, 4K.
这些游戏的风格特别像平时刷国外的社交媒体,在推荐流里面冒出来的广告,色彩鲜艳、内容紧凑,然后还有几行字,提醒你说「不用下载,点开就能玩」。

在生成的视频里,赛道上没有多出来额外的东西,所有的赛车也一直保持在可追踪的位置,而且提示词只有六个字,「赛车比赛开始」;不过我相信这是手气好的结果。
提示词:一个连续10秒的一镜到底电影化卡丁车竞速游戏场景,设定在迪士尼的《疯狂动物城》中,从提供的起跑线截图开始。保持玩家、朱迪、尼克、他们的卡丁车、挥旗裁判以及整个HUD完全一致。
视频开始时,裁判挥动巨大的方格旗向下启动比赛。三辆卡丁车瞬间加速并避开裁判——摄像机干净利落地从裁判旁边掠过,同时卡丁车向前冲出。摄像机以紧凑的第三人称追逐角度跟随玩家的卡丁车,伴随着强烈的引擎震动、轮胎旋转和爆发式前进动作,带来强烈加速感。
当卡丁车在直路上提速时,摄像机进行动态AAA风格赛车运动:— 稍微拉高形成漂移跟拍镜头,— 然后绕到玩家卡丁车正面,以戏剧性的反向特写展示玩家、朱迪和尼克奋力冲刺,— 接着旋转至平滑高空俯视镜头,从上方跟踪三辆并排竞速中的卡丁车。
随后摄像机再次下降靠近道路,以低矮快速侧滑追踪镜头捕捉画面:轮胎贴近镜头飞驰而过,护栏擦出的火花四溅,同时朱迪尝试超越对手。接下来摄像机切换为身临其境的第一人称驾驶舱视角:高速前进,道路震动,风声扭曲,以及世界在眼前延展。玩家稍微倾斜身体精准躲避小型障碍物,然后完美右侧超越尼克的卡丁车完成一次绝佳操作。
所有角色必须与参考图片及《疯狂动物城》动画电影视觉风格完全一致。动作需具备真实物理驱动力:方向盘晃动、车辆倾斜、轮胎尖叫,引擎轰鸣。HUD始终屏幕锁定且完美呈现:右下角:速度表迅速攀升超过120公里/小时;左上角:玩家头像更新位置「2nd / 8」 → 「1st / 8」,显示超越后的排名;顶部中间:「GO!」倒计时文字自动变化然后消失;右上角:圆形小地图根据方向略有更新;底部中间:「按住空格键加速」短暂闪烁提示。
整个10秒必须呈现如同AAA级别质量的视频化《疯狂动物城》内赛车游戏片段,包括复杂相机编排、不间断动作流畅性。
如果抽到不好的结果,我们只需要在新的提示词里面添加一个 Negative Prompt,负向提示词,意思是模型不可以做的事情。
例如在这个卡丁车游戏里面,赛车经常会冲出跑道,以及扭曲的车轮或者人物,甚至是突然多出来的一辆赛车、掉转车头去新的赛道,这些都可以放在负向提示词里面。
其他的几种游戏,我们也生成了一些视频片段。


疑犯追踪,刺激感拉满
除了疯狂动物城,最近 Nano Banana Pro 又多了很多新玩法,像这个疑犯追踪里面的截图。我们只用上传一张照片,就可以得到同款的视频监控大头贴。

提示词:使用上传的图像作为源,创建一个高角度的 CCTV 监控镜头。检测图像中的主要可见人物,并自动绘制一个白色矩形框围绕每个面部。对于突出的人物,添加一个大的缩放内嵌框:一个锐利、增强的特写镜头,显示在连接着细白线的浮动矩形框架中。保持主图像稍微噪点和安全摄像头(软粒度、轻微失真、颜色暗淡),而缩放内嵌框应该更清晰、更明亮、更详细。 没有文本,没有时间戳,只有盒子和连接线的叠加。保持上传图像的原始场景布局、角度和环境。
我们用这个提示词,也尝试了几张图片,效果都很不错。

而如果想要让它像电影一样,会随着人物角色的移动,这个候选框也能自动跟随,甚至会显示出他的个人信息,现在的 AI 视频也有能力做到了。
不过我们在问 Gemini 如何才能做到这种效果时,Gemini 给的答案是,现在的 AI 做不了;他还很详细地给了我完整的理由。
你目前遇到的问题,白框不跟随移动、或者动起来像纸片一样扭曲。是因为目前的 AI 视频生成工具(如 Runway, Pika, Luma, Kling)无法理解 UI 图层和画面内容的逻辑关系。
这意味着,当我们把那张带有白框的图片扔给 AI 去生成视频时,AI 并不会认为那个白框是一个「悬浮的界面」,它只会觉得白框是画在地上,或者粘在人脸上的一部分纹理。
所以当人动的时候,AI 会试图把这个白框像纹理一样扭曲,或者干脆把它留在背景里。
而要完美实现,我们想要的「疑犯追踪」效果(人走动,框跟随,放大图也跟随),Gemini 来说,单纯靠提示词是做不到的。于是,它的建议是,采用分层制作的专业工作流,即通过后期来补上去。

既然是 AI 工作流,怎么能交给后期。这是我们在可灵里面实现的效果,虽然这个突出的人物框,应该跟随着视频移动,不能遮挡到主角,但这个完成度已经非常接近目标了。
提示词:基于这张图片生成监控视频。 画面里那个穿黑西装、提红色公文包的男人正在快步向前走。 请注意: 他的脸部必须一直被那个白色的方框套住。 哪怕他走动了,这个白色的方框也要像贴纸一样死死地粘在他的脸上。 男人走到哪里,这个方框就必须跟到哪里,绝对不能掉下来,也绝对不能留在原地不动。 只要画面里有人,他的头上就必须画着这个框。 右上角的大头照和连接线也要一直显示,跟着人一起动。 保持监控那种模糊、有颗粒感的画质。
80% 是 AI,手把手教你复刻真实视频
看到这个视频的第一眼,你会怀疑这是由 AI 生成的吗?

视频来源:X@SoCal360
网友们一开始都以为这是一个 AI 视频,有专门那种检测视频是否由 AI 生成的账号,在评论区点出,这个视频有 80% 的几率是由 AI 制作。
直到原视频作者放出了另外一个角度的视频,才知道这是迪士尼为了宣传自己的剧集《波西·杰克逊》,专门做的「8D」广告,加了水花四溅的真实环境特效。
这种「打破次元壁」的特效,第一眼确实很惊艳,就像在大部分商场的裸眼 3D 刚推出时,就被很多人说是用后期制作的。
如果你也想做一个类似的 2D 视频和现实世界结合的视频,或者直接复刻这种真实的视频;其实现在的 AI 也已经能做到不少。

1.截图视频的首帧图,要求 Gemini 提取图片的提示词。
2.使用 Nano Banana Pro 替换大屏上的图片,生成视频首帧图。(更直接的做法是要求 Nano Banana Pro 替换广告牌上的内容就可以。)
3.把原视频发给 Gemini,问 Gemini 如果要做一个类似的视频,应该用什么提示词。
4.修改提示词,在视频生成模型里面多次尝试。

Gemini 同样支持上传视频进行分析
而在可灵视频生成里,我们可以直接上传视频作为参考,而不仅仅是局限于文字提示词和首尾帧图片、或者参考主体图片等。

到底该如何看待这些 AI 视频呢,《阿凡达:火与烬》还有几天就要上映了,电影导演詹姆斯·卡梅隆再次向媒体强调,在《火与烬》中没有使用生成式人工智能,并承诺《阿凡达》系列电影不会取代演员。
在他看来,AI 只是重复地使用过去的艺术品,没有任何的原创性。他特地区分了,用于后期合成视觉特效的人工智能工具,认为它们可以降低成本;而完全的生成式 AI 只会带来更广泛威胁。

AI 视频的发展,也许还复刻不了《阿凡达》。
但在大荧幕之外,它确实能让我们离想象中的「疯狂动物城」更近一步;无论是做个游戏 DEMO,还是复刻一段特效,只要我们有想法,都可以试着做自己故事的导演。
所以,别光看着那些超级创作者们的演示眼馋了,玩法和提示词都在上面,快去试试看吧!
文章来自于微信公众号 “APPSO”,作者 “APPSO”
【开源免费】字节工作流产品扣子两大核心业务:Coze Studio(扣子开发平台)和 Coze Loop(扣子罗盘)全面开源,而且采用的是 Apache 2.0 许可证,支持商用!
项目地址:https://github.com/coze-dev/coze-studio
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0