PRAASHEK: 😄

Na Alza.cz vidím zalistované 5080, zatím bez cen a bez možnosti objednat. Nevidím tam 5090.

LAUNCHER: nechápu. mluvil jsi v první reakci o LPDDR, v DIGITS je připojená LPDDR5X jako unified paměť mezi CPU a GPU. U grasshopper byla 512 GB/s když byla připojená jen k CPU. U digits se uvidí jaký bude mít bandwidth na sdílený sběrnici. Ano u grasshopper je k GPU přípojná k HBM, která má 4 TB/s. Ale sběrnice je stejné 900 GB/s mezi CPU a GPU. Takže bych tipoval těch 512 GB/s bude u DIGITS.

U inference máš model v paměti. Takže imho tam bandwidth není zásadní. Kde by se tohle řešilo training, tam budeš chtít co nejlepší propustnost z CPU do GPU a co nejrychlejší paměť o GPU, protože budeš trénovat s novými daty. Navíc ty learning mají jistou úmrtnost, takže to sypeš opakovaně.

Hele, nejsem expert. Ale myslím, že pro inferenci modelů s bambilionen parametrů, to poslouží víc jak 32 GB 5090. Notabene, že těch modelů můžeš mít paralelně víc, protože máš paměť.

RUDOLF: Nekoukej nahoru, koukni dolu:

LAUNCHER: jsou používáný grasshopper architektuře

NVIDIA Grace Hopper Superchip Data Sheet
https://resources.nvidia.com/en-us-grace-cpu/grace-hopper-superchip?ncid=no-ncid

RUDOLF: Ty olol "AMD AI laptopy", akorat ze vubec, rozebiram tady: LAUNCHER, detail humornejsi formou ruzne po netu. Zatim je z toho jen jeden "herni tablet" (wtf?) samozrejme 32GB RAM only.

Digits - Testy nejsou, ale jeste jsem nevidel rychle AI na pomale pameti. Rozlobeni AI lide trebas ruzne po redditu:

Reddit - Dive into anything
https://www.reddit.com/r/LocalLLaMA/comments/1hwthrq/why_i_think_that_nvidia_project_digits_will_have/

Nejsem nespokojeny, 4090 je paradne rychla na 1 HW soucastku a 5090 by mohla byt takhle: LAUNCHER, zcela vpravo. Podminka je, ze se musis vejit do tech 32GB RAM.

Pokud se nevejdes do 32GB RAM, pripadnje se Ti nepodari poresit nekolik 5090 naraz, zacinaji problemy. Ktere do urcite miry umi resit Apple HW nebo Digits, ale proti 5090 za cenu prudkeho snizeni vykonu u vetsiny modelu.

LAUNCHER: a máš nějaký testy? LPDDR5X Nasadili do nějaký AI notebooků od AMD, z principu bych k tomu měl nedůvěru. Spíš počkám až bude venku skutečná experience s DIGITS.

LAUNCHER: Ještě větší zklamání, alespoň pro mě, je AMD Strix Halo / Ryzen Max, což by mi papírově do laptopu* vyhovovalo, ale bylo to ohlášené do 1, slovy jednoho laptopu a ten jeden laptop bude kdo ví kdy, Q1 nejspíš ne.

Netuším jestli je to nevyrobitelny, nebo neprodejný při real ceně, ale takhle.

* A do desktop vůbec, protože to má 8* PCIe 4, takže silnou GPU na to nenapojim bez velké ztráty výkonu.

RUDOLF: Opatrně, na co přesně to chceš. U Digits si AI lidé stěžují, že je paměť sice velká, ale LPDDR je pro spoustu situací zoufale pomalá.

Trošku jsem se těšil, že si koupím Nvidia xx9 kvůli LLMs. Že to bude pracovní investice, nikoliv pořízení gaming karty. Ale NVIDIA my vypálila rybník. Teď bych si měl pořídit Digits;-((

The World’s Smallest AI Supercomputer | NVIDIA Project DIGITS
https://www.nvidia.com/en-us/project-digits/

NVIDIA's GeForce RTX 5090 To Have Review Embargo Lifted On January 24th, GeForce RTX 5080 To Follow On January 30th
https://wccftech.com/nvidia-rtx-5090-to-have-review-embargo-lifted-on-january-24th-rtx-5080-to-follow-on-january-30th/

recenze
5090 24.1.
5080 30.1.