• úvod
  • témata
  • události
  • tržiště
  • diskuze
  • nástěnka
    • přihlásit
    registrace
    ztracené heslo?
    RUDOLFMachine Learning | Strojové učení | In Machines We Trust | Víra v mechanickou bestii
    THEODORT
    THEODORT --- ---
    1 odpověď
    MATHEZ: jak to presne myslis? urcite databaze, kazdopadne s par detailama, ktery jsou klicovy pro cokoliv dalsiho. tzn napr hlavni db kde mas cesty k fs, nejaky zakladni info o tom kam to vede.. a na to navazany ty tvy datasety.. nasledne mas pomerene rozsahle moznosti jak jedno ci druhe dostat k userum. Ale mozna se ptas taky na neco trochu jineho? kdyztak posta nebo kafe ;D

    btw pro nas chudy delny lid je zpravidla dobry si takovyhle veci nejdriv testovat napriklad v google cloud platform, free tier.. https://cloud.google.com/free tak jestli to nema nejaky pruseciky trebas
    MATHEZ
    MATHEZ --- ---
    1 odpověď+1
    cus, muzu se zeptat jak si resite praci s datasety co obsahuji obrazova data?
    ukladani, anotaci, testovani na edgi a v cloudu, vyhledavani, atp
    Pripravujeme launch puvodne interniho nastroje a pomaloucku polehoucku zaciname hledat uzivatele.
    JINX
    JINX --- ---
    Existuje nejaky tool/scheduler pro spousteni kodu napsaneho v TF nebo PyTorch? Predstavuju si to nejak tak, ze mam sadu experimentu, ty poslu na stroj. Ten je bude postupne vykonavat a postupne mi vracet vystupy pro jednotlive experimenty. Jde mi o co nejjednodussi automatizaci.
    MATHEZ
    MATHEZ --- ---
    SOPTIK: brutalni chyby, datasety s rentgenama jsou dobry pro stavbu generatoru nesmyslu :]
    KYRKYJ
    KYRKYJ --- ---
    +2
    ICARUS: Před nějakou dobou jsme dělal finetuning BERTa, používal jsme na to transformers knihovnu: https://github.com/huggingface/transformers, ta obsahuje i GPT-2.
    Předtím jsem zkoušel implementaci BERTa v tensorflow, a ta při tréninku potřebovala výrazně víc paměti než ty transformers v pytorchi. To je nejspíš tím, že velkou část paměti spotřebuje první embedding vrstva (token do vektoru). Tensorflow si nejprve připraví celý výpočetní graf, tj. alokuje paměť pro gradient u každého token embeddingu. Pytorch naopak výpočetní graf vytváří "define-by-run" přístupem, tj. alokuje pameť jen když jí bude používat. Při každém batchi použiješ jen pár tokenů -> pytorch potřeboval výrazně méně paměti (asi 6GB vs 16GB).
    Asi by to šlo udělat i v tensorflow (2.0) použitím eager execution.
    Jinak těch 300$ jsi spočítal z toho že víš jak dlouho chceš trénovat? Na AWS je gpu instance s Teslou asi od 1$ / hod. myslím, na google cloudu to bude podobně. Existují i tzv. spot instance (https://aws.amazon.com/ec2/spot/pricing/), které jsou několikrát levnější, ale nemáš zaručené že ti jí během běhu neshodí (ale když pořešíš nějaké průběžné ukládání pro tento případ, tak asi můžeš dost ušetřit.)
    ICARUS
    ICARUS --- ---
    1 odpověď
    Mate nekdo zkusenost s finetuningem GPT-2? Mam tu cca 20M text, pres ktery bych chtel GPT-2 preucit a nasledne pouzivat na generovani textu. Zatim pouzivam skvely python wrapper gpt-2-simple, ale momentalne bojuji s HW. Mam tu 2070, na ktere (pres Docker) provozuju Tensorflow, ale jsem schopen pouzit jen zakladni 124M model. Uz 355M model je znacne nestabilni, protoze se mi nevejde do VRAM.

    Premyslel jsem, ze bych zkusil finetuning nekde v Cloudu, nejspis na Google Compute Engine, ale ty ceny jsou dost krvave (Za Teslu T4 chteji asi $300). Mate s tim nekdo prakticke zkusenosti?
    CUCHULAIN
    CUCHULAIN --- ---
    MART1NKA: jo, Morphoditu jsem taky zkoušel :)
    SOPTIK
    SOPTIK --- ---
    1 odpověď+1
    JINX: Nz :-) ale bacha na ty ruzne kaggle datasety, spoustu z nich ma chyby v anotacich.
    JINX
    JINX --- ---
    1 odpověď
    SOPTIK: To je skvele! Diky :-)
    SOPTIK
    SOPTIK --- ---
    1 odpověď+1
    JINX: Kdyz hledam nejake nestandardni datasety, tak vetsinou zacinam tu https://toolbox.google.com/datasetsearch
    MART1NKA
    MART1NKA --- ---
    1 odpověď
    CUCHULAIN: Jee potešil si :). Lematizér češtiny sa dá vyriešiť nástrojom of ÚFALu, ktorý tiež dodáva Geneea. Na komerčné účely najľahšou cestou so mnou v pošte. http://ufal.mff.cuni.cz/morphodita Má ale jednu vadu, je to robené na prehistorickom korpuse. Ak to má byť language independent, môžeme poskytnúť konzultáciu.
    JINX
    JINX --- ---
    1 odpověď
    KYRKYJ: Potrebuju na jedne siti naucit X datasetu, zajima me jenom co nejvetsi variabilita.
    KYRKYJ
    KYRKYJ --- ---
    1 odpověď
    JINX: ImageNet je největší dostupný dataset na klasifikaci, je to standart. Záleží o co se pokoušíš / co tvůj model má umět. Pokud je to klasifikace na co největším datasetu, tak nic lepšího než ImageNet neseženeš, pokud máš nějaký jiný cíl, tak záleží co konkrétně chceš.
    JINX
    JINX --- ---
    1 odpověď
    Mate nekdo tip na podobne kvalitni dataset jako MS-COCO ale vhodny pro klasifikaci? (Zkousim ImageNet ale ty obrazky se mi moc nelibi).
    CUCHULAIN
    CUCHULAIN --- ---
    1 odpověď+2
    TUSIL: třeba tutaj pražáci :)
    Geneea - Text Analytics
    https://www.geneea.com/
    demo - https://demo.geneea.com/

    nebo sám. já to řešil přes TensorFlow + Keras + bow. akorát je potřeba vyřešit lematizaci slov.
    TUSIL
    TUSIL --- ---
    1 odpověď
    Ahoj, snazim se najit nejaky zpusob, jak ziskat informace o tiskovych zpravach, ktere mi dorazi emailem a napadla me cesta ML, se kterym ale nemam moc zkusenosti. Cilem je zjistit nasledujici:
    • ktere spolecnosti se tiskova zprava tyka
    • produkt/sluzba/udalost ktere se tyka
    • rozdeleni prichozi zpravy na casti, ze kterych se bezne sklada (nazev, obsah, informace o spolecnosti, kontakty pro novinare atd), ale v kazdem emailu je to trochu jinak

    Co jsem se snazil googlit, tak jako nejzajimavejsi mi prisla sluzba Amazon Comprehend, protoze jsem vyvojar, ktery nema moc zkusenosti s ML. Bohuzel ale neni dostupna pro cestinu, takze predpokladam, ze budu muset jit do ML a napadlo me, ze bych se tu zeptal, jestli by me nekdo nemohl nasmerovat kudy se vydat?:) Diky
    SOPTIK
    SOPTIK --- ---
    +2
    JINX: Ja byl minuly rok, letos mi to nevyjde z casovych duvodu, jinak bych sel. Mne se minuly rok prednasky libily, kazdopadne letos je vetsi tlak na to, aby prispevky byly vice odborny, tak jsem zvedavy.
    PJOTRIK
    PJOTRIK --- ---
    JINX: Trochu necekane tam budu, tak by bylo fajn se s nekym potkat
    JINX
    JINX --- ---
    2 odpovědi
    PJOTRIK: Byl jsem tam minuly rok a letos to asi vynecham. Proc se ptas?
    PJOTRIK
    PJOTRIK --- ---
    1 odpověď+1
    Chystate se nekdo na ML Prague v unoru?
    Kliknutím sem můžete změnit nastavení reklam