KOUDY:
Kdyby nic neznamenaly, tak je nikdo nedela a nepisou se o nich clanky. Udelat dobry benchmark vyzaduje hodne prace. Pokud ma byt aspon zhruba objektivni, tak jeste mnohem vic. Pokud to ma byt overitelne, musi byt verejny. AI se uci na vsech verejnych datech, ktere se jim podari
ukrast ziskat. Ano, treba ten ArtificialAnalysis je jeden z lepsich a snazi se tomu do jiste miry branit, ale neprustrelne to fakt neni. A motivace tech firem "poladit" model na ty vyznamnejsi testy je znacna.
Ono samozrejme to je problem, ktery (minimalne v soucasne dobe) dobre reseni nema. Je to prilis slozite, prilis rychle se to meni, zadna objektivni kriteria dostupna nejsou (krome castecnych a mene vyznamnych, typu rychlost odpovedi). Takze je fajn, ze se o to aspon nekdo snazi. Ale vyvozovat z toho nejake zavery je ... predcasne. Bylo by to jako podivat se na spotrebu podle NEDC (predchudce WLTP, jeste horsi) a pak se divit, ze v realite mi to nesedi.
Tohle co jsi napsal "Protoze Grok skoro nikdo nepouziva, muzou si dovolit to dotovat agresivneji, nez konkurence." Je picovina a je to presne naopak. Kdyz mas model ktery pouziva vice lidi tak muzes nabizet agresivnejsi cenu nez kdyz ho pouziva mene lidi. Elon muze nabizet agresivni cenu diky tomu ze ma trening modelu defakto zadarmo kdyz pronajima datacentra konkurenci.To by platilo pro klasicky model, kdy mas vyrazne fixni naklady a pak naklady na jeden kus / jednoho uzivatele, ktere s jejich rostoucim poctem klesaji ("economy of scale"). A jsi ziskovy. Zasadni problem AI je, ze naklady rostou umerne (nebo dokonce rychleji) s poctem uzivatelu. A ziskove to neni.
Zadny z velkych AI modelu neposkytuje presna data o uzivatelich a nakladech, takze pro nejaky konkretni priklad je treba vychazet z odhadu. OpenAI ma v prumeru na zakaznika prijem $10. Naklady jsou nekde kolem $40. Pocet uzivatelu je pobliz 1G. Pokud se rozhodnou, ze kazdemu daji 2x vic vypocetniho vykonu, ztrata na zakaznika naroste na $80, takze celkova ztrata vyskoci o $80G. Jelikoz xAI ma neco jako 100M zakazniku, kdyz kazdemu pridaji $40 kapacity, zvetsi se jim ztrata o pouhych $4G. Nebo, pokud to ma Elon fakt tak levne, jak tvrdis, naroste ztrata jeste mene a muzou si dovolit jeste vyraznejsi dotace. Takze muzou byt rychlejsi a levnejsi, aniz by pohlo s celkovymi cisly o desitky mld dolaru. To se v ucetnictvi SpaceX ztrati jako nic... Teda, i tech $80G se v ucetnictvi OpenAI ztrati, protoze ho nezverejnuji ;-)