Google pro LLM komunitu zachranuje Nvidia N1X (RTX Spark Laptopy), Strix Halo, pripadne M5 Pro. Je to prvni vlastovka, ma to sve problemy, ale ono to pujde. Vyuziva se toho, ze lokalne nemas frontu dotazu od hodne uzivatelu, takze pocitas na jednom promptu 256 tokenu naraz, difuzne. Tzn pokud mas neco, co ma vyrazne vyssi performance chipu nez rychlosti pameti, vice vytezis ten performance a mene trapis tam a zpatky pameti. Vyznamne zabira jak na moji milovanou 5090, tak na RTX Spark.

U nVidia podpora samozrejme od day 0, protoze spoluprace s Google.

Run DiffusionGemma on NVIDIA for Developer-Ready, High-Throughput Text Generation | NVIDIA Technical Blog
https://developer.nvidia.com/blog/run-diffusiongemma-on-nvidia-for-developer-ready-high-throughput-text-generation/

Reci cisel, inference:
5090: 700 tokenu / sekundu
DGX (+RTX) Spark: 150 t/s
DGX Station: 2000 t/s

Detail:

A Visual Guide to DiffusionGemma - by Maarten Grootendorst
https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-diffusiongemma

50/50 Ze dostanete thumbnail NVidia is helping AMD :)

TL;DR Windows neumi dobre pracovat se sdilenou pameti a NV s Microslop to opravili. AMD by melo byt v opravach taky.

NVIDIA's Secret Windows Upgrades for N1/N1X Laptops Help Everyone; AMD Could Benefit the Most
https://youtu.be/vO3BX58GIw0

IMHO je brzo. Windows teprve opravuji veci (protoze narozdil od Strix Halo za timto stoji sentiment)

Orezana 5070 v ARM notebooku a vychazi v dobe kdy M3 dosahne likvidacnich cen v korpo.
Windows bezi dobre na MacBooku ve VM (proto vim, ze translation layer neni zdroj problemu - Microsofti se tam uz pouziva.)

Nemyslim si, ze to stoji za tech leaknutych 3000$

(Vážně uvazuju že si jako další nb nechám něco se Šparkem pořídit, takže jsem na NV přístup zvědav )

TRAGED: NV si proda HW a mozna nejake licence mrkvosoftu.

Ja mluvim o per-user licence a cloud-billing. Uz to zacalo Microslop vi, ze nemuzes udrzet vse v datacentru. Prodavat licence a ty platis zbytek je zaklad uspesneho SW :)

NPU, Spark, Strix Halo nikdy nebude skvela platforma - ale dost vykonna pro akceleraci prodanych modelu.

MCKIDNEY: Myslíš licenci na CoPilot, nebo na Spark akceleraci? :-] Nebo už se ví, že NV za to nebude chtít desátek, tak jako za možnost akcelerace na VMs?

RUDOLF: Fair enough.

Popisovane problemy v nekterych konkretnich CZ firmach - Bohuzel, no. Ale tak on ten problem i zacina a konci penezma... ostatne kolik lidi treba z Nyxu uz nedela pro CZ trh, ac si piseme v CZ.

6k - Gratuluji, parada.

LAUNCHER: v poho, ale argumentačními fails, kdy jsi reagoval na to, co jsme netvrdil, jsi vinen též;-) ono, tohle prostředí, kdy píšu z tabletu na záchodě, vytváří obrovský prostor na neporozumění ze všech stran;-) V energetice budou specifika o kterých vím prd žejo;-) a peníze tam budou;-) Ale chápu, že v energetic chceš mít core compute co nejblíž, to dává smysl.

Já rozhodně nejsem proti edge compute a v tý farmacii, v kterŷ jsme byl, když LLM začali vstupovat do zajetých ML konceptu. Je spousta use cases. Notabene domácí edge mi přijde taky jako budoucnost ale paměťové omezení xx90 a cena Spark, mi doma nedávají smysl. Xx90 koupím, protože jsme přešel na 6k.

Moje kritika směřovala, na firmičky co se brojí proti cloudu, ale nezaplatí ani vlastní IT lidi aby vytvořili procesy a řešení, na security operations atd. Coz není tvůj případ. Ale tyhle mají děraví sítě a služby a remcají nad cloudem. Kde je tuna compliance tools, co ti udělají automaticky bezpečnostní audit. Protože v tom je business.

Mě by nevadil ani český cloud provider, jedna z nabídek byla něco takovýho postavit v čR a v dobe AI, by to mohl být krásný produkt, bez montr týmu. Ale situace je tady trochu pozadu, startupy jsou lákány do AWS/Azure kredit. A nevím kdo by v ČR konkurovali free 25 mega v kreditek na 3 roky, včetně rozpoztu na migraci do hyperscalers. To je imho pro český cloud providery likvidační. A podle toho co jsem slyšel. Český firmy teprve naskakují na manged kubernetes jako službu:-) v době kdy jsem poprve začal s AWS, tak EKS taky nebylo.

Je to tu hrozně rozdílný, vidím technologicky a procesně vyspělí firmy a pak takový relikty mínulaoti. Takže je těžky odhadnout s kým se vlastně bavím;-)

Regionalni deployment - resi residency, ne jurisdikci. CLOUD Act dosahne na US-controlled providera extrateritorialne bez ohledu na to, v jakem regionu data lezi. Uloziste v EU nevyleci pristup US vlady (FISA 702, NSL, casto s gag orderem - ani se to nedozvis). Proto existuji pozadavky na suverenni cloud a proto cast EU trhu na US hyperscalery nesahne ani s EU regionem. „Compliant v regionalnim frameworku" je vendor claim, ne konec debaty.

"Ale nic z toho co popisujes nebylo relevantni. Open modely se pouzivali a trenovali v cloudu. Protoze na to proste ani s nekolika rack nebyla kapacita." - Rikas neco co jsem nerekl a pak si to sam vyvracis.

Dal nemam zajem na pokracovani debaty, ostatne cele mi to prijde naivni "HW pro trh, ktery existuje a ja nevidim, vskutecnosti neexistuje - duvod je ten, ze JA ho nevidim", kombinovano s argumentacnimi fauly. Co se tyka me, delam primarne energetiku pro DACH. Predpokladam, ze pro tebe stejna jednoduchost jako pocitani ROI v tvem prvnim odstavci. Nebo compliance, nebo cokokoliv z toho cos tu stvoril. Jsem s tim uplne v klidu a miru.

V tohle contextu Spark v miniPC i v corp. notebooku dava smysl.

Na rovinu, tohle ocekavam ze bude copilot model - Microsoft Office, ale s AI. Plan do delsi budoucnosti, kdy AI je nutna pro zamestnance, ale nenahradi je.

Spark + Licence = CoPilot offloaduje cast.
Edge + License = CoPilot offloaduje cast.
Cloud only = platis 100% vseho

NVIDIA Vera Rubin Enters Full Production, Ready To Bring The Full Force of NVIDIA's AI Might To Agentic AI Factories
https://wccftech.com/nvidia-vera-rubin-enters-full-production-ready-to-power-agentic-ai-factories/

### Hlavní oznámení

* **Plná produkce:** Platforma NVIDIA Vera Rubin pro „Agentní AI“ (Agentic AI) vstoupila do fáze plné masové produkce a je připravena k nasazení v AI datacentrech (AI factories). První zákazníci obdrží čipy ještě v letošním roce.
* **Tržní potenciál:** Samotné procesory Vera mají společnosti NVIDIA otevřít trh o celkové hodnotě 200 miliard dolarů (TAM) a zajistit jí pozici největšího dodavatele CPU v tomto roce.
* **Ekosystém partnerů:** Do plnohodnotné výroby systémů Vera Rubin jsou zapojeni přední výrobci hardwaru a infrastruktury (např. Dell, HPE, Lenovo, Supermicro, ASUS, GIGABYTE a další).

### Součásti platformy Vera Rubin

Platformu tvoří celkem šest typů čipů, které jsou integrované do systémů DGX, HGX a MGX. Základem je **Vera Rubin Superchip** (obsahující 1× Vera CPU, 2× Rubin GPU a paměti HBM4 + LPDDR5x):

* **Rubin GPU:** Navrženo čistě pro AI, obsahuje 336 miliard tranzistorů a dva retikulární čipy (dies). Nabízí propustnost HBM4 až 22 TB/s. Proti předchozí generaci Blackwell poskytuje 5× vyšší výkon při inferenci a 3,5× vyšší výkon při trénování (v formátu NVFP4).
* **Vera CPU:** Custom architektura Arm (kódové označení Olympus) s 88 jádry, 176 vlákny a 1,5 TB systémové paměti (SOCAMM LPDDR5X). Nabízí 2× vyšší výkon v oblasti zpracování dat, komprese a CI/CD oproti generaci Grace.
* **NVLink 6 Switch:** Propojovací čip s propustností 3,6 TB/s na CPU a celkovou šířkou pásma 28,8 TB/s. Má 100% kapalinou chlazený design.
* **Networking (ConnectX-9 & BlueField-4):** * *ConnectX-9 SuperNIC* poskytuje propustnost 1,6 TB/s pro masivní AI škálování.
* *BlueField-4* je 800G DPU integrující 64jádrové Grace CPU s ConnectX-9, přičemž nabízí 2× vyšší síťový výkon a 6× vyšší výpočetní výkon než BlueField-3.


* **Spectrum-X 102.4T CPO:** Ethernetové řešení s křemíkovou fotonikou, které je 5× efektivnější a 10× spolehlivější než předchozí řešení.

### Parametry a přínos racku Vera Rubin NVL72

Sestava jednoho racku NVL72 přináší výrazná zlepšení oproti předchozí generaci Blackwell:

* **5× vyšší výkon pro inferenci** (3,6 EFLOPS v NVFP4)
* **3,5× vyšší výkon pro trénování** (2,5 EFLOPS v NVFP4)
* **2,8× vyšší propustnost paměti HBM4** (1,6 PB/s) a 1,5× větší kapacita (20,7 TB)
* **2,5× větší kapacita LPDDR5x** (54 TB)

**Celkový ekonomický a technický dopad:** Platforma přináší 10× nižší náklady na token při inferenci a vyžaduje 4× méně GPU pro trénování MoE (Mixture of Experts) modelů ve srovnání s architekturou Blackwell GB200. Sdružuje se v systémech DGX SuperPOD (obsahujících 8 racků NVL72) nebo v DGX Rubin NVL8 pro běžná datacentra.

LAUNCHER: Protoze NV App :)

Pro me spatna zprava, protoze ja na windows orezavam driver NVCleanstall a vyhybam se framework a NVapp