VOZKA:

GitHub - hlky/sd-enable-textual-inversion: Copy these files to your stable-diffusion to enable text-inversion
https://github.com/hlky/sd-enable-textual-inversion

How to Train Textual-Inversion

** Training is best done by using the original repo **

WARNING: This is a very memory-intensive model and, as of writing, is not optimized to work with SD. You will need an Nvidia GPU with at least 10GB of VRAM to even get this to train at all on your local device, and a GPU with 20GB+ to train in a reasonable amount of time. If you do not have the system resources, you should use Colab or stick with pretrained embeddings until SD is better supported.

Note that these instructions are for training on your local device, instructions may vary for training in Colab.

You will need 3-5 images of what you want the model to describe. You can use more images, but the paper recommends 5. For the best results, the images should be visually similar, and each image should be cropped to 512x512. Any other sizes will be rescaled (stretched) and may produce strange results.

Existuje textual inversion, což je jestli to správně chápu zhruba tohle, ale na to už potřebuješ GPU s ohromným množstvím RAM, minimálně 16 GB, možná 20, takže jsem si o tom nic víc nedohledával.

PRAASHEK: On by to ten skript webui.cmd který spustíš v kroku 7 měl udělat sám. U mě se to akorát nemohlo rozhodnout jestli to poběží na primární nebo sekundární grafické kartě a kvůli tomu to blbnulo, tak to nepoužívám. Můžu popsat jak to udělat ručně, ale nedělej to a zkus jestli ti nebude fungovat ten krok 7 normálně - měl by.

To GUI pak vypadá takhle: https://imgur.com/a/iPlQ1xy

PRAASHEK: Já používám tohle: https://rentry.org/GUItard
Má to i nastavení na to jakou GPU použít když máš víc než jednu, ale to mi nefunguje, takže jsem musel dělat nějaké úpravy, ale pokud máš jedno GPU, mělo by to běžet víceméně samo. Ta paměťová optimalizace v tom zatím není, ale je to věc upravení jednoho python souboru, pokud to rozchodíš a tu optimalizaci bys potřeboval, tak sem ten jeden soubor ke zkopírování klidně nahraju.

Step 1 je stáhnout samotný AI model.
Step 2 je stáhnout zip s tím programem který ho spouští a vytváří (webové) GUI. "Git clone" ignoruj, normálně stáhni ten zip soubor z odkazu a někam ho rozbal.
Step 2a nedělej.
Step 4 podle mě nutný není, ale radši ho udělej. Někdo si mi stěžoval, že se ten soubor nedá upravovat v klasickém notepadu - nevím jestli je to pravda, já používám notepad++.
Step 5 a Step 6 nainstaluje nástroj Miniconda, což je interpretr Pythonu a zároveň balíčkovací systém, který si umí stáhnout všechny potřebné pythonové knihovny do virtuálního prostředí aniž by ti s nimi zasíral systém.
Step 7 by potom tu instalaci balíčků měl sám udělat a na závěr spustit webové rozhraní, které najdeš na http://127.0.0.1:7860/. Napoprvé stahuje a instaluje pár gigabajtů balíčků, takže to trvá dlouho, při dalších spuštěních třeba minutu.
Tenhle krok je zároveň ta jediná věc která má potenciál se nějak rozbít a mně kvůli dvěma GPU pořádně nefunguje, takže skript webui.cmd nepoužívám, to virtuální prostředí jsem si vytvořil sám a skript pro webové ui spouštím taky sám, což ale není nic moc složitého.

Dobrý návod k tomu jak potom SD správně nastavovat pro pěkné obrázky je tady: https://old.reddit.com/r/StableDiffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/

VOZKA: btw tyhle "happy-not-so-happy accidents" jsou asi to, co mě na tom nejvíc baví

Někdo objevil novou jednoduchou možnost optimalizace paměťové náročnosti: https://old.reddit.com/r/StableDiffusion/comments/x56e8x/the_optimized_stable_diffusion_repo_got_a_pr_that/

Výsledkem je, že pro 512x512 obrázky stačí 2,86 GB VRAM, na mojí sekundární (tj. 100% využívané jen pro tohle) 6 GB VRAM grafické kartě můžu generovat 832x832 px obrázky (i když mám zapnutý ESRGAN a GFPGAN, které trošku užírají), a na 6 GB VRAM kartě která je využívaná systémem by mělo jít generovat 768x768 px obrázky (či nečtvercový ekvivalent).

A co je zajímavé, používám při spouštění webui flag --optimized-turbo, který má teoreticky o kus vyšší spotřebu RAM než jen --optimized, ale je skoro stejně rychlý jako neoptimalizovaná verze.

Nevýhoda je, že čím větší je obrázek, tím častěji dochází k chybám jako zdvojování prvků. Zkoušel jsem generovat staré portréty rustikálních angličanů a při 832x832 pixelech už mi začal často vyrábět dvě hlavy.

Spoiler: oba obrázky vytvořila AI.

VOZKA: vskutečnosti iz cow that looks like cat, nefunguje jim to :/

Brzy má vyjít Stable Diffusion verze 1.5. Na jejich discordu už se testuje, zatím jsem z ní viděl jeden obrázek a nemohu říct že bych se netěšil.
Prompt byl jednoduše "a cat that looks like a cow".

FAEKAL: nekoho uz napadlo to do photoshopu integrovat jako plugin. https://getalpaca.io/
Stable Diffusion Photoshop Plugin
https://www.youtube.com/watch?v=dD9vpO2zaJw

A [VLOZTE LIBOVOLNE] nebudou mít co žrát
https://twitter.com/daniel_eckler/status/1564601399828168705?s=21

MAJKA: tak ho tam někam hoď

Zkoušel jsem jestli se SD nedá použít na inpainting fototextur pro odstranění hran. Dá, ale potíž je v tom, že musíte co nejpřesněji vystihnout co se na textuře nachází, a to je dost obtížné. Spousta fototextur má taky uměle vytažené detaily a ostrost, což u textur dává smysl, ale SD je zdá se optimalizovaný spíš na fotky, které tak detailní nejsou. Takže ta dokreslená část pak vypadá trošku rozmazaně. U toho spodního obrázku se kombinují oba problémy dohromady.

Dall-E tenhle inpainting umí automaticky (tj. bez nutnosti popisovat co je na fotce) a z internetů se zdá, že o něco líp.

Po rozkliknutí detailnější verze.