• úvod
  • témata
  • události
  • tržiště
  • diskuze
  • nástěnka
    • přihlásit
    registrace
    ztracené heslo?
    TOXICMANElon Musk respektive jeho firmy SpaceX (Falcon / Heavy / Dragon / Starship), Tesla, Starlink, Neuralink, Boring, xAI
    SEJDA
    SEJDA --- ---
    OMNIHASH: casto nekdy okolo 4. vydane verze prekladace jazyka uz jsi na takove urovni stability, ze 5. verze preklace je napsana v prekladenem jazyku. Tzn. jeste tusim, jedna verze a "AI" zacne programovat sama sebe, pak teprve zjistime co je to efektivita nabizena "AI". Tedy pokud vubec nekdo dostaval benefity za to, ze napsal uspornejsi kod.
    TADEAS
    TADEAS --- ---
    JIMIQ: podobne jako u datacenter, ktery musis postavit, vse v nich vyrobit, etc, (coz neni v te spotrebe el.). takze tohle je alespon orientacni srovnani energie na provoz toho co tak nejak asi chceme srovnat. urcite k tomu budou elaboraty, tak kdyztak nahod .)
    OMNIHASH
    OMNIHASH --- ---
    3 odpovědi±0
    TADEAS: no mě příjde, že se naopak efektivita kódu dost rapidně zhoršuje. Akorát se na to hrne obří lopatou kvanta výkonu, tak to nikdo neřeší. To cos udělal s 16mb RAM na 95, uděláš dneska s 32gb na desítkách.
    KOUDY
    KOUDY --- ---
    reasoning uz prej interne testuje openAI..tak uvidime...U Elonova chatbota bych tomu uplne neveril.

    OpenAI prý dosáhlo průlomu. Její tajný chatbot dosahuje intelektu 2. stupně AGI – Živě.cz
    https://www.zive.cz/clanky/openai-pry-dosahlo-prulomu-jeji-tajny-chatbot-dosahuje-intelektu-2-stupne-agi/sc-3-a-229159/default.aspx?
    YMLADRIS
    YMLADRIS --- ---
    1 odpověď-2
    E2E4: jako ze bude kontrolovat jestli se mu do skoly neprihlasil bot a vyhodi ho, nebo oc ti jde
    E2E4
    E2E4 --- ---
    1 odpověď
    YMLADRIS: reasoning from first principles je něco co stávající AI neumí. Na to by byl potřeba nějaký další prulom podobný jako byl vynález LLM.

    A Karpaty chce učit lidí, ne AI.
    E2E4
    E2E4 --- ---
    +1
    TADEAS: akorát že LLM nejsou mozky. ne že by nebyly dobrý a užitečný, ale pořád to jsou LLM..

    naopak teď je trend opačný, místo hrubé síly (která je mimochodem drahá, možná už i současné náklady na LLM nedávají ekonomický smysl) k menším ale stejně dobrým modelům. Elon jde opačným směrem, a výsledky to moc nemá - grok má víc parametrů, ale výkon stejný jako ChatGPT 3..

    a to pomíjím jeho přesvědčeni že použití shitu z Twitteru to nějak udělá lepší..

    co na tom je zajímavé, že se možná objeví nové emergentní vlastnosti.
    YMLADRIS
    YMLADRIS --- ---
    1 odpověď+4
    point xAI ma prave byt implementovat reasoning from first principles. jeste mi k tomu pripada relevantni dve veci. 1) karpathy: zacinaji se delat mini-modely, ktere se neuci na celem internetu, ale kterym nekdo vybral, co je meaningful (moje analogie: batole nacita absolutne vsechno, protoze nevi co bude relevantni pro jeho zivot. desetilete dite uz vnima a zapamatovava jen to, co bere jako vyznamne). 2) karpathy: delame skutecnou AI skolu, kde cilem je vyvinout postupy, jak kohokoliv (within reasons) naucit cokoliv. Muj zaver: dnesni pocty tokenu a gigawatu a whatnot nemusi byt relevantni, pokud se AI masivne "zparalelizuje" a "napriklad neustale se bude ucit napr v karpathyho skole", tj pripominalo by to spis miliardu snazivych asiatu, nez jeden podivny a neproniknutelny mozek. vyvoj je nejasny
    PES
    PES --- ---
    JIMIQ: njn, uvidíme, zda třeba někdy masivní nahloučení výpočetního výkonu s nějakými základními pravidly nepovede k sebeorganizaci a vzniku něčeho jako AI ;-)
    JIMIQ
    JIMIQ --- ---
    2 odpovědi+1
    Ale k mozku potrebujes i tu bizuterii kolem, jeste neumime vyuzit mozek ve formaldehydu :D takze bych klidne pocital 1500Wh/den

    A ohledne soucasne AI jsem skeptik. Furt to jsou jen neuronove site, prediktivni modely… musela by prijit revoluce jineho typu aby to vubec mohlo byt povazovano za AI
    PES
    PES --- ---
    DZODZO: ovšem při těch 8mld. lidí na Zemi letos (8E+09) a 295Wh/den (3E+02) to máme řádově 2.4E+12Wh/denně ~ 1E+11Wh ~ pokud se neseknu v řádech, tak lidské mozky žerou průběžně 200GW
    TADEAS
    TADEAS --- ---
    1 odpověď+1
    OMNIHASH: kontinualnich 150 GW spotreby mozků. kdyz pocitam predikci 800 TWh spotreby datacenter celkove za 2026 ( IEA is projecting global electricity demand from AI, data centers and crypto to rise to 800 TWh in 2026 in its base case scenario ) tak to je nejaky 90 GW kontinualnich. za par let jsme tam z hlediska spotreby energie, mezitim ae znasobi efektivita, algoritmy, vykon hw... a budeme vzpominat na dobu kdy clovek byl relevantni :D
    DZODZO
    DZODZO --- ---
    1 odpověď+3
    PES: zas do AI clusteru nemusis kazde rano nalievat hrnek kafe
    PES
    PES --- ---
    1 odpověď+1
    TADEAS: až to bude tak efektivní jako mozek se spotřebou cca 11 kalorií/h ~ 250cal/d ~ 291Wh , tak to bude teprve zajímavé ;-)))
    OMNIHASH
    OMNIHASH --- ---
    1 odpověď+1
    TADEAS: 150 gw, zatls tolik to není
    TADEAS
    TADEAS --- ---
    3 odpovědi
    OMNIHASH: no prevedeno do ty vypocetni roviny - kolik wattu spotrebovavaj mozky lidi na planete a kolik zdroju k tomu vyuzivaj... aby - co vlastne?

    trenink bude vzajemny ,) alignment zatim nejasny
    OMNIHASH
    OMNIHASH --- ---
    1 odpověď+12
    TADEAS: výborně, výpočetní síla rovnající se půlce Afriky a bude se na tom trénovat model, co bude souhlasit s pošukama na twitteru a papouškovat názory Space Karen.
    TADEAS
    TADEAS --- ---
    3 odpovědi
    TOXICMAN:

    Elon Musk fires up ‘the most powerful AI cluster in the world’ to create the 'world's most powerful AI' by December — system uses 100,000 Nvidia H100 GPUs on a single fabric | Tom's Hardware
    https://www.tomshardware.com/pc-components/gpus/elon-musk-fires-up-the-most-powerful-ai-training-cluster-in-the-world-uses-100000-nvidia-h100-gpus-on-a-single-fabric

    From previous statements of intent, we assume that the power of xAI’s 100,000 H100 GPU installation will now be targeted at Grok 3 training. Musk said the refined LLM should be finished with the training stage “by December this year.”

    To put the Memphis Supercluster compute resources in some context, certainly, going by scale, the new xAI Memphis Supercluster easily outclasses anything in the most recent Top500 list in terms of GPU horsepower. The world’s most powerful supercomputers such as Frontier (37,888 AMD GPUs), Aurora (60,000 Intel GPUs), and Microsoft Eagle (14,400 Nvidia H100 GPUs) seem to be significantly outgunned by the xAI machine.
    TOXICMAN
    TOXICMAN --- ---
    1 odpověď+3
    @elonmusk
    Nice work by @xAI team, @X team, @Nvidia & supporting companies getting Memphis Supercluster training started at ~4:20am local time.
    With 100k liquid-cooled H100s on a single RDMA fabric, it’s the most powerful AI training cluster in the world!
    XCHAOS
    XCHAOS --- ---
    SATAI: dokud je to nedotlačí používat eifelovkový design, neblíží se k hranicím možností materiálu :-)
    Kliknutím sem můžete změnit nastavení reklam