Imho existovala i předchozí verze postavená na 4xV100. Ale možná je to ta upcoming. Trochu se tam nevyznám

https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/dgx-station/dgx-station-print-Infographic-738375-nvidia-web.pdf

RUDOLF: Wow, tak tohle je luxus IMHO. Neznal jsem, díky.

RUDOLF: to nikdo na zkoušku ještě nemá

Tím nic proti gustu. Ale pod 50t/s nejdu, ideál 100t/s a lépe.

RUDOLF: Pro mé účely je to líné LAUNCHER.

LAUNCHER: já jsem v korporátu, tam je celý legal body a interní AI policy tým co tohle vyřešil pro všechny konzumenty AI napříč AI vendory;-) ale ano, řešit to sám tak, je odkaźu na rule-based AI;-)

Nicméně, když to bereš třeba přes AWS, tak bych čekal, že tohle mají na klíč a ty jen cvakáš.

Jo, právě proto jsem zvědavý na tu dgx workstation, jestli to bude 1/4 mega nebo víc. Ale už mi to naběháni AI přijde lepší. No a zkoušel ten plnej desktop Mac na inferenci? Má to integrovanou paměť s CPU, a ta může být imho 64+ GB. Stačilo by to zkusit na nějaký 64 GB MacBook Pro. Možná je to správná cesta na tohle cheapskate užívání

LAUNCHER: jako malý zákazník si nemůžeš koupit privacy pro své data před providerem?

Hmmm… když není NV link, jak fungují ty multi GPU konfigurace? To od dob 30x už nic nema ten bandwidth a rychlost?

LAUNCHER: Ad Quadro -> RTX:

"NVIDIA Quadro is now NVIDIA RTX"

Quadro Legacy Graphics Cards, Workstations, and Laptops | NVIDIA
https://www.nvidia.com/en-us/products/workstations/quadro/

LAUNCHER: kdyby měla x090 se svou pamětí nvlink, dost lidí by nemuselo kupovat quadro za 4x

Ty jo, ani 6000 Pro nemá NV link. On to předpokládám stejně asi nebude umět ten "5090" chip.

Opet se ukazuje, jak úžasná ta 3090 ve své době byla a pro mnohé účely stále ještě je.

RUDOLF: Ty co se vejdou do 32GB: Krásné odezvy oproti cloudu.

Všechno: Smíš to používat na data, která do cloud nesmí.

LAUNCHER: proč ty modely vlastně chceš běhat doma?

LAUNCHER: máš to pomalé?

random z netu

Model Name Quantization Memory Required (GB) Max ctx length Recommended Hardware Examples
Qwen3-0.6B Q4_K_M ~0.5 32K Virtually any modern PC or Mac; integrated graphics are sufficient. Mobile phones
Qwen3-1.7B Q4_K_M ~1.3 32K Any modern system with a discrete or recent integrated GPU; basic Apple Silicon Macs (M1/M2/M3/M4).
Qwen3-4B Q4_K_M ~2.5 32K GPUs with >= 4GB VRAM (e.g., older GTX cards, RX series); entry-level Apple Silicon.
Qwen3-8B Q4_K_M ~5.0 128K GPUs with >= 8GB VRAM (e.g., RTX 3050, RX 6600); standard Apple Silicon chips (M1/M2/M3/M4 base models).
Qwen3-14B Q4_K_M ~9.0 128K GPUs with >= 12GB VRAM (RTX 3060 12GB, RTX 4060 Ti 16GB, potential RTX 5060 Ti 16GB); Apple Silicon Pro/Max chips (M1/M2/M3/M4 Pro/Max with >= 16GB unified memory).
Qwen3-30B Q4_K_M ~18.6 128K Single GPUs: Used RTX 3090 (24GB), P40 (24GB, low bandwidth), L4 (24GB, low bandwidth), A10 (24GB), Tesla V100 32GB. Multi-GPU: 2x RTX 3060 12GB, 2x 4060 Ti 16GB. Apple Silicon: M-series Pro/Max/Ultra with >= 24GB unified memory. PC with fast DDR5 RAM (see performance notes).
Qwen3-32B Q4_K_M ~19.8 128K Single GPUs: Used RTX 3090 (24GB), P40, L4, A10, V100 32GB. Multi-GPU: 2x RTX 3060 12GB, 2x 4060 Ti 16GB. Apple Silicon: M-series Pro/Max/Ultra with >= 24GB unified memory. PC with fast DDR5 RAM (32GB+ recommended).
Qwen3-235B* Q3_K_L ~112 128K Multi-GPU: 5x RTX 3090 (120GB), 3x L40/A40 (144GB), 4x V100 32GB (128GB), 2x RTX Pro 6000 Ada (96GB – too small). Apple Silicon: Mac Studio/Pro M-Ultra with >= 128GB unified memory. PC Workstation/Server: 128GB+ high-speed RAM (DDR5 preferred).

LAUNCHER: U me doma s 32GB VRAM takto... stridave oblacno 🙄 Muzu si za to sam a reseni existuji, co nadelam no.