嗨大家好!周末愉快!
今天是豆包的铁粉阿真!
前几天,也不是很久吧就前个七八天……哈哈哈这篇拖得确实有点久了。前几天豆包超能创意2.0开启了灰度测试,我当然是去填了测试申请,然后拿到了测试机会。
大家感兴趣的话,也可以点击这个链接填写内容申请内测:
https://bytedance.larkoffice.com/share/base/form/shrcnFjzYdRQRAGGw8SMNHfyh0b
如果你的豆包网页端-点击【图像生成】界面,这里的第一个图已经变成了超能创意2.0,那么代表就是可以使用超能创意2.0啦。⬇️
网页中的这个红框部分也可以看到官方案例。
我之前写过超能创意1.0,主要分享的都是文生图效果,对批量文生图感兴趣的,可以看看这里:豆包创意1.0文生图提示词分享与系列图片效果展示
这次的2.0在1.0上继续进行了升级,重构了 Agent 框架,提升了拓展性与稳定性,保证并行生成的同时能完成串行任务,满足更多用户要求。(官方说的)
体验过后我不得不说,豆包超能创意2.0,确实有两把刷子。我把他们的新的玩法重新汇总归类,大概分成了下面这些内容,一是图像编辑(P图)批处理,一致性提升了很多。二是绘本创作和角色连续动作,因为一致性提升所以在连续图像方面也有了更多玩法。三是更多艺术家风格的探索,豆包能基于给定的图片和指令,延伸出更多艺术家的视觉方向场景,便于给到我们更多灵感。
接下来我将分享一些案例来进行展示,大家也可以更直观看到它的效果。
首先是上豆包官网链接:
https://www.doubao.com/chat/
目录
1. 豆包生图的2招必杀技
2. 图像编辑与批处理
2.1 批量抠图
2.2 批量修改动作
2.3 给室内批量换风格
2.4 批处理海报
2.5 批量换材质
2.6 批处理照片
3. 绘本创作和角色连续动作
3.1 解忧公主的故事
3.2 3D卡通绘本
3.3 儿童绘本
4. 艺术家风格探索
4.1 蜜雪冰城海报
叠甲:今天的参考图片来自AI生成、设计素材网站和网络,仅用于分享示范,涉及网络图片版权归原作者所有。如有涉及品牌,海报内容与品牌无关。
首先先放出豆包的两招必杀技。我担心这两招放出来,我就没什么可以讲的了😂
第一招,是风格复刻。大家可以看我输入的和豆包输出的。我这里只说了“复刻”,大家也可以在上传图片后的文字要求中表达更多要求(包括修改文字内容)
一般相似度不会很高,但是它这个类似“我帮你反推提示词再重新帮你根据提示词生成图片”的操作,所以总体来说确实很省心。
第二招,是反推提示词。这个一直都有,不过最近好像又优化了,效果很不错。
也就是像上面这样简单的图片+指令,然后这个提示词可能你改改内容就可以用……
我没什么可以分享给大家的了,告辞。
开个玩笑开个玩笑,我又回来了。但是这个结合起来确实可以减轻不少工作量,大家可以尝试用它们提取灵感和用作提示词参考。
那么接下来就给豆包上强度了。豆包能修改文字也能修改图像,最基础的玩法:
提示词:
把文字修改成“霍格沃兹大学”
也可以在豆包中继续对话进行修改,但是要注意,这样修改图片的时候连续对话图片的细节会损失,图片清晰度也会降低(正常现象,Kontext 目前也是如此)。
还有比如给自己照片换背景:
这就是最简单的P图的玩法,相信大家日常生活也会有很多用到的机会。那么接下来就真的要给豆包上强度啦。
2.1 批量抠图
我现在有下面这些图,然后我需要全部、一次性抠图。只需要上传所有图片,然后输入“抠图”。
下面是操作记录:
抠图效果和原图是正相关的,我这里都压缩了所以会看起来不是很清晰。有的主体确实不够明确的可能抠图效果一般,但是大部分时候已经够用了,能够输出透明底图片。
2.2 批量修改动作
比如我有一张图,想要同样角色的不同动作(图一是原图)。
更换6个不一样的姿势
回放链接:https://www.doubao.com/thread/w6b55b23c36cf08eb
操作记录:
做到这里我突然有了一个大胆的想法!既然可以生成不同动作,那么将它们连起来,是不是……
接下来的30秒将是人生中极为漫长的30秒:
怎么一个3D卡通风格的男孩也可以这么油腻哈哈哈。
2.3 给室内批量换风格
如果我们想给自己的卧室换个装修风格也可以尝试用豆包先找找感觉。下面第一张是原图:
其他的都是豆包基于图一修改的。另外也可以尝试将商品放进我们拍的图中。
基于这个房间的格局和视角不变,给我20种不同的室内装修风格的效果图,每次输出一张,仔细思考后输出下一张
回放链接:https://www.doubao.com/thread/wafb31be2ab8056d2
操作记录:
2.4 批处理海报
我在之前有说过,豆包可以参考海报风格,那么将参考风格和参考艺术家结合,并且要求批量产出不同尺寸图片,我们就可以得到一组系列海报。
参考这个风格为我设计一套不同尺寸的壁纸,包含手机、平板、电脑等6个不同尺寸的插画壁纸,主体为3只猫,主体描边一致,参考Jean Jullien的风格,所有图片风格和角色设定保持一致。
回放链接:https://www.doubao.com/thread/w9724d5dc18564d6f
操作记录:
2.5 批量换材质
假如我们有一个捏好的或生成的白模,可以直接让豆包批量换材质(图一为原图)。
保持原图不变,为它加上材质,材质分别为青花瓷、珐琅、玉石、银色金属、蓝色玻璃、磨砂陶瓷、抛光大理石、冰裂釉、铜锈金属、珍珠母、翡翠、氧化铁质感、透明树脂、磨砂玻璃、炻器釉面、金属拉丝、不锈钢镜面、月白釉、黑曜石、磨砂塑料,每次输出一张,思考后输出下一张。
回放链接:https://www.doubao.com/thread/wc6c4b53ae483a1d6
操作记录:
看看视频效果:
2.6 批处理照片
假如我们有一张照片,可以给照片一键批量生成不同的拍立得或撕拉片风格。
生成10种不同的拍立得或者撕拉片的风格,人物必须被框在相纸中。
回放链接:https://www.doubao.com/thread/wc0b9c004666ef3d3
操作记录:
这也是豆包比较好的一方面了,我们可以直接在对话中获得灵感、脚本、创意,也可以在对话中微调,最终输出多张系列图片。当然现阶段依然不算很完美,像这样的绘本如果角色的整体细节比较复杂了,一致性就会差点,细节还是有不同的,要求不高满足日常用的话不成问题。
3.1 解忧公主的故事
前不久看见了@猫der和饭饭的日常 博主的视频正好讲到解忧公主,突发奇想让豆包给解忧公主写一个绘本。
部分图片(这个细节还是有比较多的问题的,主要看感觉):
图片是主角汉朝的解忧公主,为我生成有关她的故事绘本,20页,比例 「16:9」
回放链接: https://www.doubao.com/thread/w4eb7615d8776e0c0
单张图片有问题可以鼠标移动到图片,选择单张重新生成:
操作记录:
3.2 3D卡通绘本
这里我原本想的是让豆包编个黛玉和敖丙的故事,不过我给的图片有点太抽象了,指令也没要求,所以豆包自行发挥生成其他故事了哈哈哈。
注意,这里用的是图一图二参考图三的图片风格,也就是最终的图像风格应该是类似图三的。
豆包:……高端局啊。
参考图:
看看输出图(逐渐变身):
图一个图二是故事中两个角色的设定,为他们写一个段故事脚本并生成12张图的绘本,比例保持为3:2,角色的服装和设定完全保持一致,绘本的风格风格完全固定参考图三的图片风格。
回放链接:https://www.doubao.com/thread/w70b0558310f53b9f
操作记录:
3.3 儿童绘本
前面的案例有点复杂了,下面这种简单绘本,豆包分分钟拿捏。
参考图:
为图一的小男孩和图二的穿着白色T恤的玩具熊编一个睡前故事并且输出绘本图片12张。比例保持为3:2,风格完全固定为图三的图片风格。
链接回顾:https://www.doubao.com/thread/w79d7bf73181a852a
输出图:
操作记录:
普通人可能很难知道具体有哪些艺术家什么风格好看适合的,没关系,可以交给豆包。我们完全不需要写任何艺术家,让豆包来输出。
4.1 蜜雪冰城海报
比如我直接开足最大马力让豆包生成36组蜜雪冰城海报,使用完全不同的摄影师和艺术家风格。
下面是部分海报,大家可以猜猜是哪些艺术家的风格哈哈哈。
生成36张不同艺术家和摄影师风格的蜜雪冰城海报,注意皇冠不要掉,比例为3:4。
回放链接:https://www.doubao.com/thread/wb70cd5b5f9ce7259
操作记录:
另外还有风格参考制作图片和海报,这个要是详细写我还想等到14号海报风格也上新以后。前面有几个简单的例子可以先看看。
总体而言,豆包创意2.0相比于1.0,继续有了比较大的提升,能更好地满足我们的日常需求。
P图、抠图、修图、改图不在话下,创意延伸生图、还有不同动作控制也非常实用。加上本身的属性以及批量化到最多一次输出36张图的加成,豆包已然脱胎换骨,不再是昔日的“吴下阿豆”,表现确实出色。不过,若应用于更高要求、更精细化的专业项目工作流,目前仍稍显不足,但其潜力无限,值得期待。
豆包创意2.0即将上线海报和视频功能,我会持续关注,并在体验后与大家分享相关心得。期待豆包带来更多惊喜!
此外,我也想提醒大家,随着技术进步,作假的成本和可能性日益降低,请务必多加警惕这些潜在风险。
这期的分享就到这里,期待大家评论区分享玩法,如果这里有你喜欢的效果和你认为实用的方法,欢迎猛击三连给阿真最极致的鼓励,感恩!
周末愉快~
文章来自于微信公众号“阿真Irene”。
【开源免费】scribble-diffusion是一个将AI草图变成家装设计方案的AI项目。该项目功能已经在家装设计领域广泛使用。
项目地址:https://github.com/replicate/scribble-diffusion?tab=readme-ov-file
在线使用:https://scribblediffusion.com/
【开源免费】roomGPT是一个室内装修的AI项目。上传房屋图片,即可将房间重新装修一遍,变成梦中情房。
项目地址:https://github.com/Nutlope/roomGPT
在线使用:https://www.roomgpt.io/(付费)
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0