字节跳动开源了一个口碑还不错的模型——BAGEL (ByteDance Agnostic Generation and Empathetic Language model), 一个统一多模态基础模型。啥叫“统一”?一个模型就能同时理解和生成文本、图像、视频!
前几天部署测试了下,总体感觉,本地跑多模态大模型的希望之光!毕竟可以像4o一样模型对话来编辑图片。但是呢,效果时好时坏,有时非常好,有时惨不忍睹。 不过,像图片、视频这一类的产品、模型,体验跟使用的人也关系比较大~
今天做了一个简单的小教程,给家人们分享一下。
BAGEL-7B-MoT版本总参数140亿,实际干活的活跃参数70亿。满血版运行起来大概占用30G的显存。
统一大模型对咱们的优势是,一个模型可以同时对比Qwen2.5的图片理解能力、SD3,Flux的图片生成能力、Gemini的图片编辑能力。
体验Demo在这里:https://huggingface.co/spaces/ByteDance-Seed/BAGEL
模型地址在这里:https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT
这里简单贴2个例子,最后介绍下如何安装使用把。
转换风格,不在话下!
图片编辑也还不错。
安装依赖
git clone https://github.com/bytedance-seed/BAGEL.git
cd BAGEL
pip install -r requirements.txt
把模型下载下来
from huggingface_hub import snapshot_download
save_dir = "/path/to/save/BAGEL-7B-MoT"
repo_id = "ByteDance-Seed/BAGEL-7B-MoT"
cache_dir = save_dir + "/cache"
snapshot_download(cache_dir=cache_dir,
local_dir=save_dir,
repo_id=repo_id,
local_dir_use_symlinks=False,
resume_download=True,
allow_patterns=["*.json", "*.safetensors", "*.bin", "*.py", "*.md", "*.txt"],)
这个代码直接命令行输python,之后执行。
然后python -u app.py即可启动webui,会自动跳转打开,然后就可以自己测试玩了。
文章来自微信公众号 “ 探索AGI ” ,作者 “ 猕猴桃 ”
【部分开源免费】FLUX是由Black Forest Labs开发的一个文生图和图生图的AI绘图项目,该团队为前SD成员构成。该项目是目前效果最好的文生图开源项目,效果堪比midjourney。
项目地址:https://github.com/black-forest-labs/flux
在线使用:https://fluximg.com/zh