LAUNCHER: nechápu. mluvil jsi v první reakci o LPDDR, v DIGITS je připojená LPDDR5X jako unified paměť mezi CPU a GPU. U grasshopper byla 512 GB/s když byla připojená jen k CPU. U digits se uvidí jaký bude mít bandwidth na sdílený sběrnici. Ano u grasshopper je k GPU přípojná k HBM, která má 4 TB/s. Ale sběrnice je stejné 900 GB/s mezi CPU a GPU. Takže bych tipoval těch 512 GB/s bude u DIGITS.
U inference máš model v paměti. Takže imho tam bandwidth není zásadní. Kde by se tohle řešilo training, tam budeš chtít co nejlepší propustnost z CPU do GPU a co nejrychlejší paměť o GPU, protože budeš trénovat s novými daty. Navíc ty learning mají jistou úmrtnost, takže to sypeš opakovaně.
Hele, nejsem expert. Ale myslím, že pro inferenci modelů s bambilionen parametrů, to poslouží víc jak 32 GB 5090. Notabene, že těch modelů můžeš mít paralelně víc, protože máš paměť.