Automatic1111)Checkpoint(모델)의 최적 조건을 찾아보자

새로운 모델을 사용해 이미지를 생성하다 보면, 기대와 다른 결과물이 나올 때가 있습니다. 

이미지 생성 조건이 맞지 않으면 원하지 않는 결과가 나올 수 있다.

Model : realisian_v60, VAE : vae-ft-mse-840000-ema-pruned
Sampler : DPM++ 2M,  Schedule type: Karras
Steps : 30, CFG scale: 7
Size: 1024x1024
ADetailer model : face_yolov8n.pt
Positive prompt :  Hyper-realistic art, Extremely high-resolution details photographic, 1 girl, solo, white blouse, denim short, standing, full body
Negative prompt : negative_hand-neg, badhandv4, bad quality, low quality, lowres, normal quality, worst quality, blurry, grayscale, monochrome, sketches, watermark, bad anatomy, bad feet, bad hands, extra arms, extra fingers, extra foot, extra legs, extra limbs, fused fingers, malformed limbs, missing arms, missing fingers, missing legs, mutated hands, mutation, poorly drawn face, poorly drawn hands, tilted head, too many fingers, acnes, skin blemishes, skin spots, cross-eyed, facing away, looking away, bad body, bad proportions, fat, long neck

 

모델 제작자가 최적의 설정값에 대한 가이드를 제공하는 경우도 있지만, 환경과 개인의 취향에 따라 그 결과는 다를 수 있습니다. 그래서 각자가 직접 최적의 조건을 찾아가는 과정이 필요합니다. 이 글에서는 그러한 방법에 대해 알아보겠습니다. 

기본적인 원리는 여러 설정값을 조정해 가며 이미지를 생성한 후 그리드 형태로 비교해 가장 마음에 드는 이미지를 선택하는 것입니다. 이렇게 하면 조건을 세부적으로 조정하며 최적의 결과물을 찾아낼 수 있습니다. 이 과정은 Automatic1111의 X/Y/Z plot 기능을 사용하면 훨씬 더 간편하게 진행할 수 있습니다. 

X/Y/Z plot 사용방법

Automatic1111의 왼쪽 아래에 보면 'Script' 메뉴가 있습니다. 여기서 'X/Y/Z plot'을 선택하면 다양한 설정을 할 수 있는 메뉴가 나타납니다. 여러 기능이 있지만, 간단하게 그리드를 생성하려면 'X type'과 'X values'만 조정하고 나머지 설정은 기본값으로 유지하면 됩니다. 'X type'에서 그리드를 만들고 싶은 파리미터를 선택한 후 'X valuse'에 해당하는 값을 입력하거나 선택한 후 이미지를 생성하면, 자동으로 그리드가 만들어집니다. 

최적의 조건 찾기

이제 앞서 프롬프트와 다르게 이미지가 생성되었던 realisian_v60 모델의 최적 조건을 찾아보겠습니다. Sampler, Steps, CFG scale 순서로 그리드를 생성해 가며 설정을 비교해 보겠습니다. 이러한 과정을 통해 어떤 조합이 가장 좋은 결과를 내는지 확인할 수 있습니다. 

Sampler grid

Sampler 선택 화면

Sampler 그리드

Sampler에 대한 그리드를 살펴보면, DPF fast나 LCM sampler처럼 예상치 못한 결과를 내는 것들은 제외하고, 프롬프트를 잘 반영하는 sampler를 선택하는 것이 좋습니다. 위에서 DPM++ 2M, DPM++ SDE, Euler 등 여러 sampler들이 좋을 결과를 나타냈습니다. 반면 PLMS나 DPM2 a는 프롬프트를 세부적으로 표현하지 못했으므로 제외하는 것이 좋습니다. 개인적으로는 DPM++ 2M SDE Heun이 가장 좋은 결과를 보여주었다고 생각됩니다. 

Steps

Steps 그리드 설정화면. Steps는 X values에 직접 값을 입력해야 한다.

Steps는 5에서 50까지 5씩 증가하는 그리드를 생성해 보겠습니다.  

Steps 그리드

그리드 생성 결과, 이 모델은 20 step 이상에서 정상적인 이미지를 생성합니다. 25 step부터는 'white blouse'가 명확하게 표현되기 시작하고, 40 stpe 이상에서는 손이 자연스럽게 묘사되고, 50 step에서 가장 만족스러운 결과를 얻을 수 있었습니다. 

CFG scale

CFG scale은 5부터 13까지의 값을 그리드로 만들어보겠습니다. 

CFG scale 그리드

그리드 생성 결과, CFG scale의 값이 9부터는 프롬프트에 맞는 이미지가 생성되기 시작합니다. 9 ~ 13 사이의 값을 취향에 맞게 선택하면 됩니다. 개인적으로는 CFG scale 12가 적당해 보입니다. 

Result

위에서 그리드를 생성하여 비교한 결과, 최적의 조건으로 sampler - DPM++ 2M SDE Heun, steps - 50, CFG scale - 12를 찾았습니다. 이제 이 조건을 사용하여 이미지를 생성해 보겠습니다. 

 

Sampler : DPM++ 2M SDE Heun 

Steps : 50

CFG scale : 12

Model : realisian_v60, VAE : vae-ft-mse-840000-ema-pruned
Schedule type: Karras
Size: 1024x1024
ADetailer model : face_yolov8n.pt
Positive prompt :  Hyper-realistic art, Extremely high-resolution details photographic, 1 girl, solo, white blouse, denim short, standing, full body
Negative prompt : negative_hand-neg, badhandv4, bad quality, low quality, lowres, normal quality, worst quality, blurry, grayscale, monochrome, sketches, watermark, bad anatomy, bad feet, bad hands, extra arms, extra fingers, extra foot, extra legs, extra limbs, fused fingers, malformed limbs, missing arms, missing fingers, missing legs, mutated hands, mutation, poorly drawn face, poorly drawn hands, tilted head, too many fingers, acnes, skin blemishes, skin spots, cross-eyed, facing away, looking away, bad body, bad proportions, fat, long neck

이미지를 생성한 결과, 생성된 이미지가 프롬프트를 잘 반영하고 있습니다. 새로운 모델을 사용했을 때 이미지 생성이 마음에 들지 않는 다면, 이미지 생성 조건을 최적화해 보시기 바랍니다.