Перейти к основному содержимому

Важно знать перед началом

Перед началом генерации, не мешало бы знать следующие вещи:

Модели

Модели, они же чекпоинты. По факту файл с "памятью" нейросети в зависимости от которого полносью меняется качество и внешний вид генераций. Может иметь два формата:

  • .ckpt - чисто гипотетически в него возможно засунуть вирус, правда, пока никто этого не делал. Качать можно, но лучше не делать этого с сомнительных сайтов.
  • .safetensors - загружается быстрее, и записать туда вирус уже даже в теории не выйдет. Их можно вообще спокойно использовать.

Также, WebUI поддерживает модели сразу нескольких версий сд: sd1.5, sd2.0, sd2.1, sdxl. Чаще всего используются sd1.5 и sdxl, так как в 2.х версиях есть... цензура.

Где искать модели

Есть несколько вариантов:

VAE

Вариационные автоэнкодеры, или в переводе на понятный язык штуки, которые могут пофиксить некоторые проблемы с генерацией. Например тусклые и невзрачные цвета. Хранятся в форматах .pt, лежат в models/vae/. Для автоматической загрузки вае с моделями он должен называтся {название файла модели}.vae.pt

Обычно VAE можно найти в репозитории модели на huggingface, или использовать свой. Лично я юзаю vae-ft-mse-840000-ema-pruned.vae.pt для sd1.5 моделей и sdxl_vae.safetensors для sdxl. Использовать один VAE для двух разных версия сд, к сожалению, нельзя. К слову, большинство комплектных VAE к старым sd1.5 моделям это тупо animevae.pt (VAE из первой модели NovelAI которую слили в 2022). Далеко не лучший выбор, лично я не рекомендую его использовать.

example of using vae

Настраивается в настройках, во вкладке Stable Diffusion (пункт SD VAE)

image

примечание

Не всем моделям нужен VAE, в некоторых из них он "запечен" внутрь. Также некоторые VAE могут не подходить под конкретные модели и вы будете получать перенасыщенные цвета, так что предлагаю добавить VAE в быстрые настройки (наверху, рядом с сменой модели), так просто будет удобнее выбирать подходящий VAE.

Как это сделать
Идем по пути

Settings > User Interface > Quicksettings list

В выпадающем списке выбираем sd_vae, после чего нажимаем Apply settings и Reload UI

image

Готово.

image

CLIP Skip

Ползунок в настройках, который управляет тем, как рано должна быть остановлена обработка запроса сетью CLIP.

КОРОЧЕ

Все что нам тут нужно, это тот факт что большенству моделей для получения лучших результатов он должен быть на значении 2, а вообще лучше смотреть на описание модели.

Идем по пути

Settings > Stable Diffusion

Находим Clip skip устанавливаем нужное значение и нажимаем Apply settings.

примечание

Clip skip тоже можно вынести в быстрые настройки. Для этого нужно сделать то же самое, что описано здесь, добавив CLIP_stop_at_last_layers