Flux 生态再爆发！新增 4 大模型，支持局部重绘/扩图/风格变体

大家好，我是花生~

上周 Flux 模型研发方 Black Forest Labs 突然又发布了 4 款新的模型，而且都非常实用，支持对图像进行外绘扩展、局部重绘和生成风格变体，此外还有 depth 和 canny 的控制功能。

其实开源社区已经自发训练了基于 Flux.1 的 Controlnet 模型，所以这次看到官方亲自下场做模型还是挺惊讶的，我都在想是不是官方觉得目前的模型不够好，所以决定自己动手来做。不过多一些新模型对我们普通用户来说肯定不是坏事，尤其是新增的 Fill 模型，可以对图像实现完美局部重绘和外绘拓展，对设计工作来说非常帮助。那今天我们就一起来看看这些新模型的特点和用法。

相关推荐：

Flux.1 生态最新梳理！新增 4 款新模型，支持 Controlnet 和 Lora （附模型/工作流文件）

大家好我是花生~ 绘画模型 Flux.1 自推出后，以其超强的图像生成能力迅速受到广泛关注，一跃成为新一代的 AI 文生图模型标杆。

一、模型简介

此次 Flux 的一共发布了 4 大类模型，分别是分别是 Fill 重绘/拓展、Depth 深度控制、Canny 线条控制和 Redux 风格变体。

FLUX.1 Fill 主要包含 inpainting（局部重绘）和 outpainting （外绘拓展）两大功能。官方称这是目前最好的图像修复模型，不仅处理速度快，新生成的内容也可以和原图无缝衔接。

FLUX.1 Depth 和我们熟知的 Controlnet depth 作用是一样的。先提供一张图像，它会提取其中的深度结构，然后结合提示词生成一张相似的新图像。官方提供给了大模型和 Lora 两种方式来实现此效果，大模型可以单独使用，LoRA 需要与 FLUX.1 大模型搭配使用。Flux.1 Canny 同理。

FLUX.1 Redux 可理解为一个图像变体生成模型，作用类似于 IP-Adapter。给出一张图像，它可以生成在内容、构图、风格、角色特征等方面类似的新图像。官方表示它适合集成到一些更复杂的工作流中，帮助用户通过图像来引导新图像的生成。

二、本地部署

模型链接： https://modelscope.cn/collections/FLUX--xilie-fa15f85b917d42 （文末有全部 6 款模型及相关工作流）

ComfyUI 工作流： https://comfyanonymous.github.io/ComfyUI_examples/flux/

以上 4 大工具的相关模型都已经开源，ComfyUI 也在第一时间进行了兼容支持，并发布了详细的教程和示例工作流。不过这次的模型都很大，对显存的要求会更高（保守 16G 以上），可能一些小伙伴的设备带不动，所以我在下一章也推荐了一些线上试玩渠道。下面先看看不同模型的本地使用方法。

① FLUX.1 Fill

Fill 功能对应的模型是 flux1-fill-dev.safetensors，模型大小 23.8 G。使用时先将 ComfyUI 更新到最新版本，然后将模型安装到根目录的 ComfyUI/models/unet 文件夹。

Inpainting 局部重绘的具体工作流如下。上传图像后，在图像上单击右键，选择 Open in MaskEditor（在蒙版编辑器中打开），然后用画笔涂抹需要重绘的部分，再填写提示词，最后生成即可。

Outpainting 外绘拓展的工作流和操作步骤则略有不同。上传图像后，先在 Pad Image for Outpainting 节点中设置需要外绘拓展的尺寸，freathering 参数可以对边缘进行羽化，让图像衔接更自然；再填写提示词描述整体画面，最后点击生成。

由于 flux 具有强大的文本渲染能力，所以对图像局部重绘时，可以对原有文本进行修改，这带来了很多有创意的玩法。比如我们可以将电影海报的标题改为任意自己喜欢的内容，新的字体还能与原字体的样式保持一致，效果很令人惊喜。

图像来源:Fal 网站的 Flux Fill Tool Demo（第三章有链接）

局部重绘和外绘拓展 AI 绘画来说是非常重要的功能，但是好用的一般都要收费，免费的则使用有门槛，而且很多效果也不好。但从前面的测试结果来看，Flux Flill 的图像修复效果的确是目前顶尖的，而且对个人来说，只要部署到本地就能免费无限制的使用，还能处理 2K 级别的高清图像，真的非常方便了。

② FLUX.1 Depth & Canny

对于 Depth 和 Canny 控制功能， 官方给出了两类模型：大模型和 lora 模型。

大模型有 23.8G，可以单独使用；Lora 模型只有 1G 多，使用方法和一般的 flux lora 一样，在基础文本图工作流上接入一个 load lora 节点就可以了。但是从网友的实测效果来看，lora 的效果比大模型差很多，生成时不仅容易出现细节丢失，而且图像质量也很低，所以不推荐使用。

下面只简单讲一下大模型的使用方法。由于这两个大模型实在太大了，运行起来很费劲，而且控制效果也没有特别好，甚至比不上开源社区目前已有的 Flux Controlnet 模型。所以这一部分建议大家了解一下就行，没必要非得用官方推出的这 4 个模型。

使用方法：先将 ComfyUI 更新到最新版本，然后将 flux1-depth-dev.safetensors 和 flux1-canny-dev.safetensors 大模型放到根目录的 ComfyUI/models/unet 文件夹。Depth 和 Canny 的工作流主体是一样的，只是在图像预处理部分有所不同。

③ FLUX.1 Redux

Redux 应该是此次推出的模型中可玩性最高的，因为它可以很好地保留原图的特征，包括风格、构图、细节、人物特征、服装特征等细节，所以能应用的范围非常广。比如用于保持人物一致性：

或者将多张图像的不同部分进行融合：

图像来源：Twitter @Datou

Redux 可以 flux dev 或 schnell 模型配合使用， 具体方法如下：

1）将 ComfyUI 更新到最新版本。下载 sigclip_vision_patch14_384.safetensors 模型，安装到ComfyUI/models/clip_vision 文件夹中，下载 Flux1-redux-dev.safetensors 模型，放入 ComfyUI/models/style_models 文件夹中。

2）对于单张图像，先安装 ComfyUI_AdvancedReduxControl 插件，它可以调节控制图像/提示词的应用强度，从而得到更好的图像融合效果。然后从插件文件夹中加载官方工作流 advanced_workflow 进行使用。

插件链接： https://github.com/kaibioinfo/ComfyUI_AdvancedRefluxControl

3）上传图像后，用文本描述想要的图像内容/风格，然后在 ReduxAvance 节点中调节图像与文本的融合强度。主要参数是 downsampling_factor ，决定原图像对生成图像的影响强度，数值范围1-5。

4）如果想融合 2 张图像的特征，可以先安装 Comfyui_Flux_Style_Ctr 插件，然后下载 Datou 老师的 Pokemon Workflow 3.0 工作流进行使用。

插件地址： https://github.com/StartHua/Comfyui_Flux_Style_Ctr

工作流： https://openart.ai/workflows/datou/pokemon-workflow-30-flux-redux/0q8ftFHisaIIEOovzNRC

三、在线试玩

如果你无法本地部署 Flux 的这些新模型，也可以通过以下方式在线体验。

① Glif - Flux(dev) Redux Merger

网址直达： https://glif.app/@HighDruidMotas/glifs/cm3rts26x0012105qfck7jdfh

这个 Glif 小应用是基于 Flux Redux 创建的，只需上传两种图像，然后描述你想要的融合效果，就能轻松将两个图像的特征完美融合到一起。

② Fal

网址直达： https://fal.ai/flux-tools

Fal 对新出的 Flux 4 大功能进行全面支持，新用户都有免费试用额度。

③ Replicate

网站直达： https://replicate.com/black-forest-labs

Replicate 上也有对 Flux 4 大模型进行全面支持，新用户都有免费试用额度。

那么以上就是本期对 Flux 四大新模型的相关介绍，喜欢本期内容一定记得点赞评论支持一波。也欢迎大家关注「优设 AI 自学网」 和「优设微信视频号」，每天都会分享最新的 AIGC 资讯和神器，让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”，和我及其他设计师一起交流学习 AI 知识~

推荐阅读：

绝美！8组国风书画卷轴提示词，文创设计必备！

大家好，我是花生~   新中式、新国风主题的设计风格在近些年来越来越流行，今天为大家推荐 8 组我精心整理的国风书画卷轴 Midjdourney 提示词，很适合用来生成与传统节日、习俗或文创设计相关的素材。