• úvod
  • témata
  • události
  • tržiště
  • diskuze
  • nástěnka
  • přihlásit
    registrace
    ztracené heslo?
    LITTLELICloud computing - An unidentifiable device that does the work for you :)
    Cloud architektura, Cloud platformy, Vývoj aplikací v Cloudu, Návrhové vzory a idiomy
    rozbalit záhlaví
    RAINBOF
    RAINBOF --- ---
    QUICK: presne tohle... diky :)
    QUICK
    QUICK --- ---
    RAINBOF: ano můžeš. Jinak poskytovatelů S3 compatible storage / Object storage je spousta. Ty menší poskytovatelé většinou mají pricing pochopitelnější https://www.vultr.com/products/object-storage/ https://www.digitalocean.com/products/spaces
    RAINBOF
    RAINBOF --- ---
    CODEAS: to si nerozumime ja bych potreboval abych s temi daty mohl obcas i pracovat na nejake EC2 pokud ma soubor 10gb tak uplne nechci ho cpat na ec2 abych s nim neco provedl a pak ho daval pripadne zpet. Hodne veci jsou ruzne datove obrazy se kterymi obcas i pracuju jako listuju adresare nekdy vygeneuju metadata nekdy to chci prohrabat cely abych nad tim udelal analyzu
    CODEAS
    CODEAS --- ---
    RAINBOF: lze instalovat CLI nástroj pro kopírování a (a právě sync) dat. Pak stačí nějaký bat/sh script
    gcloud CLI overview  |  Google Cloud CLI Documentation
    https://cloud.google.com/sdk/gcloud

    lze namountovat jako externí disk
    Cloud Storage FUSE  |  Google Cloud
    https://cloud.google.com/storage/docs/gcs-fuse
    (jen teda nevim zda není omezneí když je ta archive class)
    RAINBOF
    RAINBOF --- ---
    CODEAS: a da se s tim pracovat skrz vps ?
    CODEAS
    CODEAS --- ---
    RAINBOF:
    Google Cloud
    uložených dat: 5 TB (archive class) v Belgii
    stažených dat z cloud (10%) : 500 GB / měsíčně
    Upload cca 1000 souborů měsíčně

    cena cca 800 Kč/měsíc
    Google Cloud Pricing Calculator
    https://cloud.google.com/products/calculator/#id=5ac83046-9bfd-4a62-8a46-9edb555e7356

    Pro sync rsync
    rsync - Synchronize content of two buckets/directories  |  Cloud Storage  |  Google Cloud
    https://cloud.google.com/storage/docs/gsutil/commands/rsync
    SATAI
    SATAI --- ---
    RAINBOF: na zálohu spíš Glacier, ne?
    RAINBOF
    RAINBOF --- ---
    no popravde jsem o tom premejslel spis jako o zaloze dat. stabilita vsech jejich storage je znacna. Galerie, file share pristupny pres vpn a nejakou vpsku kde bych si s nima "lokalne" mohl i hrat mi staci. Neni to zadna sluzba svetu :) jen mi proste prijde ze mit doma metr dat na LTO5 a to samy mit "rozbaleny" poruce je lakavy. Vpodstate koketuju s tim mit doma nasku treba 250gb ssd jako takovou cache a zbytek tahat pres mrak.
    DOKIS
    DOKIS --- ---
    RAINBOF: U AWS je to vzdy narocne. Napriklad je treba zjistit, jestli a kolik se plati za prenosy dat. Obecne prenosy do AWS jsou vetsinou zdarma, ale prenosy ven z AWS nejsou uplne nejlevnejsi a muze to byt celkem znat.
    RAINBOF
    RAINBOF --- ---
    potreboval bych si nekam nastrkat data tak do 5Tb fotky, ruzny "souborovy" data. No a asi 200gb ruzny databaze a tak. uvazoval jsem ze bych si to nacpal do cloudu ale nejsem schopnej si spoctat kolik to bude stat. AWS to ma tak zasifrovany ze nejsem schopnej vubec urcit kam co dat a kolik za to a zda se na to ... :)
    VESNACH
    VESNACH --- ---
    otazka, nejaky tool, co by mi vytahl info ze vsech aws uctu a rozumne setridil sluzby i podle regionu, aby to bylo na jendnom miste?
    NAVARA
    NAVARA --- ---
    Any idea proč mi instance co jsem ráno sundal z c5.2xlarge na c5.xlarge nejde dát zpět na c5.2xlarge?

    V instance types c5.2xlarge normálně mám, ale v nabídce pro tuto konkrétní instancí je jen c5.xlarge - ani dolu, ani nahoru,… - ráno tam byly všechny.
    MALEJPAVOUK
    MALEJPAVOUK --- ---
    My jsme prosli vicero demama a testama. A zname ty BI. Otazka skutecne smeruje uzce k Redshiftu a query kompilaci, kde bam prijde ten pozorovanej cas podivnej (prilis dlouhej).
    VFISA
    VFISA --- ---
    MALEJPAVOUK: Nechte si udělat demo od jejich sales engineeringu, za to nic nedáte. Pokud jste teda schopni si Looker dovolit (netusim, jak jste velká firma a jak velký budget je). Pokud potřebujete muzu na ne napojit.
    MALEJPAVOUK
    MALEJPAVOUK --- ---
    VFISA: mame bohuzel pozadavek na ad-hoc analyzu. Takze to bohuzel nemuzeme materializovat, respektive muzeme, ale nevyresi to vsechno (protoze budou uzivatele, kteri si budou mastit svoje vlastni dotazy)
    Navic materializce v Lookeru je furt ve zdrojovy databazi. A my nemame problem s query execution casem, ale vylozene s kompilaci toho dotazu.
    VFISA
    VFISA --- ---
    MALEJPAVOUK: Pokud budete pouzivat normalni BI tak budete v pohodě, Redshift se normalne třeba s Lookerem pouziva. Tam pak jde i nějaký reporty materializovat, popr. cashovat.

    Amazon Redshift Analytics & Business Intelligence | Looker
    https://looker.com/solutions/amazon-redshift
    MALEJPAVOUK
    MALEJPAVOUK --- ---
    cau, mate nekdo zkusenosti s AWS Redshift?
    Delali jsme testy a pomerne to vyhovuje nasim potrebam... ale narazili jsme na to, ze query compilation trva zhruba 9s. Coz se uplne neprotina s tim, ze nad tim chceme bezet BI. Tak by me zajimalo, jestli je tohle obecnej problem redshiftu, nebo jestli mame smulu na region, lze uplatit support....
    MALANIUS
    MALANIUS --- ---
    TYCHOVRAHE: Je to super, hlavne ten reuse construct coz v CloudFormation proste neudelas. A hlavne to umi vic veci nez samotnej CloudFormation: terrafrom, k8s byt zatim v alfe... A furt neco pridavaj :)
    Snad asi nejvetsi pain je, ze snad kazdej den je nova verze :D
    TYCHOVRAHE
    TYCHOVRAHE --- ---
    MALANIUS: CDK jsem neznal, ale vypadá to mocně, dík
    MALANIUS
    MALANIUS --- ---
    TYCHOVRAHE: Ad CloudFormation, uz radsi pouzivam AWS CDK, je to nadstavba co umoznuje psat to v normalnim programovacim jazyku (a support je velkej) misto tech YAML/JSONu ktery muzou u vetsich veci bejt pekne neprehledny.
    Pripadne aspon SAM, kterej k CFN pridava par veci navic a halvne ma lokalni run kterej umoznuje ty sluzby jako prave API gateway a lambdy bezet lokalne v kontejnerech.
    Kliknutím sem můžete změnit nastavení reklam