YMLADRIS: to ale platí o všech neuronových sítích. nevíš proč image recognition poznala značku stop, ale víš, že když na ni nalepis čtverečkovaný sticker, tak ji už nepozná.
ostatně všechna autonomní auta AI používají a asi se nedá zjistit proč přesně fungují, viz např
Waymo’s Self-Driving Technology Gets Smarter, Recognizes Billions of Objects Thanks To Content Search - Unite.AIhttps://www.unite.ai/waymos-self-driving-technology-gets-smarter-thanks-to-content-search/je otázka, jestli je úzké hrdlo v nedostatečném zpracování existujících vstupů, nebo je zpracování dostatečné, ale úzké hrdlo je v nedostatečných vstupech.
u aut zpracovávajících velký model to navíc může narazit na výpočetní omezení v procesoru auta.
u LLM je vidět, že ani velmi masivní objem dat a jejich hluboké zkoumání nestačí. naráží to na limity (omezený kontext, možná nějaka fundamentální nemoznost porozumět exaktním pravidlům protože to pořád funguje stochasticky). typu šachy to hraje jak ponocnej, počítá to divne a dělá to nečekané chyby.
LLM daleko lépe funguji v kombinaci s dalšími vstupy, protože to kompenzuje oblasti, kde samotné LLM nejsou dobré. a nejen vstupy. šílený skok dopředu u ChatGPT je, že to dokáže nejen pochopit zadání, ale napsat pro něj program, který to zadání vyřeší, pustit ho a interpretovat jeho výstup. to jednak řeší velkou třídu problémů (zpracování dat) a druhák výborně skaluje.
podobně to vidím u aut, vstupy z predtrenovani na reálném městě, vstupy z dalších senzoru nebo úprava silnic pro samoriditelna auta maji potenciál to posunout dál, to vidíme už teď. stejně jako chatgpt s wolframem umí počítat, Waymo s natrenovanim na konkrétní město umí jezdit asi líp než současná Tesla tamtéž.
na druhou stranu, ta hranice od kdy to bude fungovat líp než člověk nemusí být daleko, stejně jako LLM umí napsat středoškolskou esej už dnes.