Важно знать перед началом
Перед началом генерации, не мешало бы знать следующие вещи:
Модели
Модели, они же чекпоинты. По факту файл с "памятью" нейросети в зависимости от которого полносью меняется качество и внешний вид генераций. Может иметь два формата:
.ckpt
- чисто гипотетически в него возможно засунуть вирус, правда, пока никто этого не делал. Качать можно, но лучше не делать этого с сомнительных сайтов..safetensors
- загружается быстрее, и записать туда вирус уже даже в теории не выйдет. Их можно вообще спокойно использовать.
Также, WebUI поддерживает модели сразу нескольких версий сд: sd1.5, sd2.0, sd2.1, sdxl. Чаще всего используются sd1.5 и sdxl, так как в 2.х версиях есть... цензура.
Где искать модели
Есть несколько вариантов:
VAE
Вариационные автоэнкодеры
, или в переводе на понятный язык штуки, которые могут пофиксить некоторые проблемы с генерацией. Например тусклые и невзрачные цвета. Хранятся в форматах .pt, лежат в models/vae/
. Для автоматической загрузки вае с моделями он должен называтся {название файла модели}.vae.pt
Обычно VAE можно найти в репозитории модели на huggingface, или использовать свой. Лично я юзаю vae-ft-mse-840000-ema-pruned.vae.pt для sd1.5 моделей и sdxl_vae.safetensors для sdxl. Использовать один VAE для двух разных версия сд, к сожалению, нельзя.
К слову, большинство комплектных VAE к старым sd1.5 моделям это тупо animevae.pt
(VAE из первой модели NovelAI которую слили в 2022). Далеко не лучший выбор, лично я не рекомендую его использовать.
Настраивается в настройках, во вкладке Stable Diffusion
(пункт SD VAE
)
Не всем моделям нужен VAE, в некоторых из них он "запечен" внутрь. Также некоторые VAE могут не подходить под конкретные модели и вы будете получать перенасыщенные цвета, так что предлагаю добавить VAE в быстрые настройки (наверху, рядом с сменой модели), так просто будет удобнее выбирать подходящий VAE.
CLIP Skip
Ползунок в настройках, который управляет тем, как рано должна быть остановлена обработка запроса сетью CLIP.
КОРОЧЕ
Все что нам тут нужно, это тот факт что большенству моделей для получения лучших результатов он должен быть на значении 2
, а вообще лучше смотреть на описание модели.
Идем по пути
Settings > Stable Diffusion
Находим Clip skip
устанавливаем нужное значение и нажимаем Apply settings
.
Clip skip тоже можно вынести в быстрые настройки. Для этого нужно сделать то же самое, что описано здесь, добавив CLIP_stop_at_last_layers