腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。

搜索
AI-TNT
正文
资源拓展
腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。
2025-01-21 22:41

疯了,全都疯了。


昨天一天时间,来了N个大货:


早上MiniMax上线TTS,字节上线AI编程Trae;下午字节全量上线豆包实时语音;晚上DeepSeek开源R1性能直接对标OpenAI o1,然后Kimi的k1.5直接正面硬刚。


这感觉就是一波撒完,直接回家过年了。。。


昨天的余温还没过,今天下午,腾讯混元又悄悄开了个闭门发布会,作为混元的老基友,我自然是受邀参加期期不落。


在这个闭门会上,混元直接又为这个AI年味添砖加瓦,开源了他们最新一代的3D大模型:


Hunyuan3D-2.0


腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



甚至因为知道很多人不会部署,就想快速用一下,还贴心的做了个线上的应用,腾讯的产品体验,那还是拉满的。。。


过年了,开源社区真的过年了。


DeepSeek、混元、智谱、通义、面壁智能,我愿称为当今的开源五虎。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



都在以各自不同的力量,为着开源社区做贡献。


说回Hunyuan3D-2.0,从模型层面看,比较屌的是用了现在AI 3D业界效果最好的一种方式,就是把模型和材质进行解藕分步生成,用这样的架构,两个子模型可以各司其职,整体效果会比只用1个模型同时去生存模型和材质效果更好。




腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



从他们自己的跑分和盲测来看,基本达到了AI 3D开源模型里面的No.1。


开源链接在此:


代码仓库:https://github.com/tencent/Hunyuan3D-2

模型权重:https://huggingface.co/tencent/Hunyuan3D-2

demo页面:https://huggingface.co/spaces/tencent/Hunyuan3D-2


除了开源之外,他们还贴心的做了一个产品,我们一直说,模型不是产品,模型根本没有任何用户体验,只有把基于模型能力做出来的符合用户需求的产品,才是最屌的产品。


而这次,他们做的这个产品——混元3D创作引擎,才是我觉得,整场发布会里面,最牛逼的。。。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



不仅免费使用,支持文生3D、图生3D、纹理生成、低多边形生成、骨骼绑定、动作驱动、草图生3D、3D风格化、3D游戏等等。


甚至,还做了一个类似Comfyui的在线3D工作流。。。


不是,你跟我说,这是一个产品的1.0版本?


你疯了还是我起猛了...


只能说,腾讯内部对产品的要求还是太高了。


网址在此:https://3d.hunyuan.tencent.com/


腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



先给大家看一下Hunyuan3D-2.0生成的效果。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。




腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。




腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。


添加图片注释,不超过 140 字(可选)



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



整体相比1.0,有了巨大的进步,在几何结构上,变得更加锐利,更加精准,材质也变得更加稳定了。


不过问题也是有的,比如在人物角色上,肢体已经表现的非常好了,但是AI 3D模型的糊脸通病也还是会有概率存在。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。


而大脸的时候会正常。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



整体模型质量上,强的起飞,而且,这玩意是开源的,这就很牛逼。


除了模型外,最酷的,我觉得还是针对游戏所做的一整套工作流方案。


如果对于3D或者游戏有了解的朋友可能会知道,在游戏开发里,游戏模型是有面数的的面数非常的重要,有经验的建模大佬都是在能省的地方就省。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



在能达到差不多效果的前提下,减少面数,节省内存,能让你的游戏玩起来不卡帧。


一般来说,主机游戏项目一般主角能干到十几万面左右,但是在手游项目里,一般角色都不能超过两万面。

模型面数的节省,就变成了重中之重。


所以说腾讯还是太懂了游戏了,在这次3D模型生成上,就给了一个非常实用的功能:低多边形



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



简单的说,就是自适应给你用最小的面数实现你想生成的最优效果。


你作为一个游戏开发,你生成出来的东西,虽然还是会有AI 3D的很难二次编辑的问题,但是已经可以修改,并且直接扔到游戏引擎里面进行渲染,这一点我觉得还是蛮酷的。


很明显就是奔着解决游戏开发中模型的实际问题而去的,毕竟,中国你要说靠游戏这事吃饭的,腾讯敢说第一,没人敢说第二。


而且在生成后的3D模型里,还有骨骼绑定和动作。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



也是方便大家能更快速的预览动画。


在实验室TAB里,还有几个有趣的功能,咱真的就是说,混元给的功能实在太多了。。。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



3D纹理生成和草图生3D这两个,我自己觉得还是很有用的。


比如我现在自己手搓了一个斧子的模型,是个纯白模。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



贴材质讲道理其实也是很浪费时间的,那我其实就可以直接传到混元3D里,用嘴来描述一下斧子的材质。


比如我就想要一把北欧时代的战斧,大概几十秒钟,就会在原模型的基础上,把贴图就给我生成完了。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



草图生成也挺好玩的。


比如我现在有这么一张草图,我想把这个妹子,变成3D的,看看是什么模样。




腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。




我们就可以直接扔进去,用嘴描述,卡通风格美女。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。




几十秒时间,一个3D模型就出来了。很有意思。




腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



但是,最让我觉得,有想象力的,还是他们的工作流。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。




我就问你,习惯玩各种工作流的小伙伴,看到这玩意,熟不熟悉。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



这,就是混元3D里面加的全新功能,工作流。


虽然现在只有4个模板,还不能自己自定义。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



但是混元说,很快就会给大家开放,可以创建自己的工作流。


这玩意,上限有多高我想都不需要我描述了,能巨幅提高3D创作管线的效率。


以官方的图生游戏角色工作流为例。


可以一张图进去,进行背景去除,然后直接调整为T-pose,再进行模型和纹理生成,再进行骨骼绑定,输出动作动画。


最牛逼的一步,是把任意图扔进去,能直接给你变成T-pose。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



我给大家传一张图,你们就知道是什么意思了。


比如这个男孩的图片,可以看到他现在是双手插兜的。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



我们把图片传进去,然后运行工作流。


你会发现,第二步把背景去掉,而第三步,直接把人物变成了T字型的人物造型。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



后续的模型生成,也会以这个T字型的图片去进行生成。



腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。



转成T字型这一步,对于3D建模管线来说,非常重要。


T字型的模型,几乎就是角色的基石。


如果没有这个造型,角色的各个部分可能会乱七八糟。


手臂没法自然展开,因为你根本不知道他的手在哪,腿的位置也对不上,甚至整个模型都无法正确绑定骨骼。


更别说后续动画师要给角色添加动作了,没有T字型,他们的工作量会直接爆炸。而且绝壁会想杀了你。


T字型的作用,不只是方便建模和动画,还是整个3D管线流畅运作的关键。


这一步不到位,后面可能会事倍功半,甚至重做。


所以,这小小的一步,就能看出来,腾讯,是真的懂游戏开发的痛点啊。。。


而且这种节点式的可视化操作,一下子就把3D创作的门槛往下拉了好几个档次。


真的,有一点当年ComfyUI的味道了。


等3D技术再发展发展,到了Hunyuan3D-3.0、4.0,是不是以后,我们可以把真实演员的定妆照扔进去,自动去背后,一键T-pose,再直接生成影视里可用的3D人物?


甚至再进一步,配合如今的AI自动配骨骼、AI动作捕捉、实时渲染技术,感觉能直接搞出类似《曼达洛人》那种虚拟拍摄。


再说游戏领域,腾讯本身就有一票儿顶尖游戏部门,像天美、光子、魔方。


他们最懂游戏玩法,也最清楚开发管线里哪里最痛。


很多时候,美术资源占了项目的大半成本和周期,而AI 3D的出现恰好能先解决大批量的基础建模、贴图、优化等工作。


尤其是一些NPC、小怪、道具、场景,完全可以用Hunyuan3D批量生成,然后再让美术做微调和二次设计就行。


这样就能把宝贵的人力和时间,更多集中在核心角色、故事氛围、独特风格这些高价值环节上,把故事把游戏,做的更加牛逼。


此术虽新,前路浩瀚。


从腾讯发布会离开的时候,我忽然又些恍惚。


各大厂商一波接一波猛料,还没消化完DeepSeek R1的开源,就碰上混元又抛出Hunyuan3D-2.0。


仿佛大家,约定好要在旧年结束前,把所有火药一次性点燃,来一场璀璨的新春大秀。


相信无论你是不是从业者,都能感受到那股热浪滚滚的气息。


无他。


前路已明。



文章来自微信公众号 “  数字生命卡兹克 “


腾讯混元悄悄开源3D大模型2.0,开源社区真的过年了。

1
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

2
AI 3D建模

【开源免费】LGM是一个AI建模的项目,它可以将你上传的平面图片,变成一个3D的模型。

项目地址:https://github.com/3DTopia/LGM?tab=readme-ov-file

在线使用:https://replicate.com/camenduru/lgm

3
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner

4
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales

IOS下载
安卓下载
微信群
沪ICP备2023015588号