ComfyUI) FLUX.1 Dev gguf 모델의 기본 워크플로우

FLUX.1 Dev gguf 모델

FLUX.1 Dev 모델의 파생 모델로, 원래 모델보다 낮은 사양에서도 이미지 생성을 지원하는 모델입니다. 

모델 준비

FLUX.1 Dev gguf 모델을 사용하기 위해서는 모델, VAE, Clip encoder를 다운로드해야 합니다. 

모델

이 링크(https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main)에서 원하는 모델 파일을 다운로드하여 'ComfyUI\models\unet' 폴더에 넣습니다. C 드라이브에 ComfyUI를 설치하 경우, 경로는 'C:\ComfyUI\models\unet'이 됩니다. 여러 모델 파일 중 마음에 드는 것을 선택해 다운로드하시면 됩니다. 

VAE

여기(https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main)에서 'ae.safetensors' 파일을 다운로드한 후 'ComfyUI\models\vae' 폴더에 넣습니다. 

Clip encoder

이 링크(https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main)에서 모델과 동일한 버전의 Clip encoder를 다운로드하여 'ComfyUI\models\clip' 폴더에 넣습니다.

추가로 여기(https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main)에서 'clip_l.safetensors' 파일을 다운로드해 동일한 폴더에 넣습니다. 

ComfyUI 준비

Update

먼저 ComfyUI와 노드들을 최신 버전으로 업데이트합니다. 

'Update All'을 이용하면 자동으로 업데이트 된다

gguf 노드 설치

gguf 형식의 모델을 사용하려면, 이를 지원하는 노드를 설치해야 합니다. 

GGUF 노드 설치. Custom Nodes Manager에서 간단히 설치할 수 있다.

워크플로우

Loader

아래 노드들은 모델, VAE, Clip encoder를 로드하는 데 사용됩니다. VAE는 아무 로더나 사용해도 괜찮지만, Unet Loader와 DualCLIPLoader는 GGUF가 붙어 있는 노드를 사용해야 합니다. 'Unet Loader(GGUF)'에서 모델을 선택하고, 'DualCLIPLoader(GGUF)'에서 Clip encoder를 선택합니다. 

Loader 노드

Sampler

FLUX 모델에서는 Guidance 값을 사용합니다. 그러나 일반적으로 사용하는 Ksampler는 이 값을 지원하지 않기 때문에, 대신 'SamplerCustomAdvanced' 노드를 사용합니다. 이 노드는 sampler, scheduler, 이미지의 크기, noise 등을 다른 노드에서 지정해주어야 합니다. 

Sampler 노드

Prompt, FluxGuidance, BasicGuier

FLUX 모델은 부정 프롬프트를 사용하지 않으므로 프롬프트 입력 노드는 하나만 있으면 됩니다. 또한 'FluxGuidance' 노드의 guidance 값은 이미지 생성에 중요한 영향을 미치며, 기본값은 3.5로 설정되어 있습니다. 이 값을 변경하면서 다양한 이미지를 생성해 보시길 바랍니다. 

VAE Decode, Save image

기본적인 노드입니다. 

전체 워크플로우

FLUX basic workflow.json

0.01MB

 

추가사항

FLUX 모델 사용 시 가능한 sampler와 scheduler의 조합

사용 가능한 조합은 https://civitai.com/articles/6582/flux1-dev-sampler-scheduler-comparison 이 사이트에 정리되어 있으며, 표에서 녹색으로 표시된 조합을 사용하면 됩니다. 

사양 및 속도

RTX 3060 12GB, RAM 16GB, i5-12400 사양에서 이미지를 생성하였습니다. Q8 버전은 메모리 부족으로 인해 1개의 이미지 생성 후 오류가 발생했습니다. 아래 표는 모델별 이미지 생성 시간을 나타내며, 1개의 이미지 생성에는 약 2분 정도 소요됩니다. 생성된 이미지의 품질은 모델별로 큰 차이는 없었습니다. 

※ 이미지 생성 시간은 PC 환경과 최적화 상태에 따라 달라질 수 있습니다. 

모델별 이미지 생성 시간. 단위(초)