ENDER: Jednak obecna nekvalita Molex. Druhak "testujes" Molex na zapadle vetvi nejakeho retro zdroje co ani nema 3* 8pin. Zatreti by spravne 8pin mel umet az 150W.

Toliko laicky, nejsem odbornik na stavbu PC.

LAUNCHER: Proc by to nebylo safe?

Pratele, delam lumparnu a nedelam to dobre, don't be me. Nenasel jsem v Alza compu prvniho decka 3* 8pin pro 3090, jen 2* 8pin. Ten treti 8pin, co by mel mit nejmensi spotrebu, jsem dohnal "2* Molex na 8pin" redukci. Dobry pocit z toho nemam vubec, ale nechce se mi to resit jinak - rozhodne v tomhle compu, co za par let pujde doufam pryc, nechci resit vymenu zdroje.

Interwebs rikaji, ze kdysi byly u prvnich karet s 8pin prave pribalene i tyhle redukce z Molex. Ale Molexu jsem teda odvykl a kvalita toho konektoru co mi prislo je diskutabilni, musel jsem tomu rovnat nozicky.

TLDR: Kdybyste alespon vedeli o kvalitni redukci Molex na 8pin, budu rad. Pripadny hejt co za tohle dostanu si jen zaslouzim, uznavam, uplne safe to bohuzel neni.

HNIZDO: Stejnych 32GB VRAM jako 5090, jako nedivim se a nezlobim se, ale skoda ze neudelaji consumer kartu co by mela vic ☺️ Apple M Ultra potrebuje konkurenci.

Prijde mi mmch ukrutny prekladat 800W TDP jako "800W spotreba". Typicka spotreba moji 4090 s 450W TDP je 4.5 az 7 W, protoze idle v textovych editorech.

NVIDIA Patches Several GPU Driver Vulnerabilities With New Security Update; Avoiding Data Leakage & System Compromise
https://wccftech.com/nvidia-patches-several-gpu-driver-vulnerabilities-with-its-new-security-update/

nějakej security patch, ale nejsem z toho moc moudrej, pockam az se na to Soucek vystrika a uvidime

PRAASHEK: 😄

Na Alza.cz vidím zalistované 5080, zatím bez cen a bez možnosti objednat. Nevidím tam 5090.

LAUNCHER: nechápu. mluvil jsi v první reakci o LPDDR, v DIGITS je připojená LPDDR5X jako unified paměť mezi CPU a GPU. U grasshopper byla 512 GB/s když byla připojená jen k CPU. U digits se uvidí jaký bude mít bandwidth na sdílený sběrnici. Ano u grasshopper je k GPU přípojná k HBM, která má 4 TB/s. Ale sběrnice je stejné 900 GB/s mezi CPU a GPU. Takže bych tipoval těch 512 GB/s bude u DIGITS.

U inference máš model v paměti. Takže imho tam bandwidth není zásadní. Kde by se tohle řešilo training, tam budeš chtít co nejlepší propustnost z CPU do GPU a co nejrychlejší paměť o GPU, protože budeš trénovat s novými daty. Navíc ty learning mají jistou úmrtnost, takže to sypeš opakovaně.

Hele, nejsem expert. Ale myslím, že pro inferenci modelů s bambilionen parametrů, to poslouží víc jak 32 GB 5090. Notabene, že těch modelů můžeš mít paralelně víc, protože máš paměť.

RUDOLF: Nekoukej nahoru, koukni dolu:

LAUNCHER: jsou používáný grasshopper architektuře

NVIDIA Grace Hopper Superchip Data Sheet
https://resources.nvidia.com/en-us-grace-cpu/grace-hopper-superchip?ncid=no-ncid

RUDOLF: Ty olol "AMD AI laptopy", akorat ze vubec, rozebiram tady: LAUNCHER, detail humornejsi formou ruzne po netu. Zatim je z toho jen jeden "herni tablet" (wtf?) samozrejme 32GB RAM only.

Digits - Testy nejsou, ale jeste jsem nevidel rychle AI na pomale pameti. Rozlobeni AI lide trebas ruzne po redditu:

Reddit - Dive into anything
https://www.reddit.com/r/LocalLLaMA/comments/1hwthrq/why_i_think_that_nvidia_project_digits_will_have/

Nejsem nespokojeny, 4090 je paradne rychla na 1 HW soucastku a 5090 by mohla byt takhle: LAUNCHER, zcela vpravo. Podminka je, ze se musis vejit do tech 32GB RAM.

Pokud se nevejdes do 32GB RAM, pripadnje se Ti nepodari poresit nekolik 5090 naraz, zacinaji problemy. Ktere do urcite miry umi resit Apple HW nebo Digits, ale proti 5090 za cenu prudkeho snizeni vykonu u vetsiny modelu.

LAUNCHER: a máš nějaký testy? LPDDR5X Nasadili do nějaký AI notebooků od AMD, z principu bych k tomu měl nedůvěru. Spíš počkám až bude venku skutečná experience s DIGITS.

LAUNCHER: Ještě větší zklamání, alespoň pro mě, je AMD Strix Halo / Ryzen Max, což by mi papírově do laptopu* vyhovovalo, ale bylo to ohlášené do 1, slovy jednoho laptopu a ten jeden laptop bude kdo ví kdy, Q1 nejspíš ne.

Netuším jestli je to nevyrobitelny, nebo neprodejný při real ceně, ale takhle.

* A do desktop vůbec, protože to má 8* PCIe 4, takže silnou GPU na to nenapojim bez velké ztráty výkonu.