HNIZDO: jasně, ale autor píše na novou implementaci na pre-AMD code base. Velmi dobře chápe, že pokud to nevydá samotné AMD, tak má hezkou díru na trhu. Pro data scientists, můžou být gpu s 16 GB ram dobré value proposition proti NVIDIA.
Protože u LLM se ti prostě hodí víc velikosti paměti. U her je imho 16 GB u slabé karty spíš trik, ale u LLM jsi rád, že pustíš model s vyšší přesností. Nemusíš mít větší výkon. Stačí ti inference modelu. Proto se klidné pouští modely na CPU se systémovou RAM.
Néjaký fine-tuning je věcí cluster řešení a nikoliv high-end 5090. Je to furt jen hobby karty z pohledu genAI.