CODEAS: to si nerozumime ja bych potreboval abych s temi daty mohl obcas i pracovat na nejake EC2 pokud ma soubor 10gb tak uplne nechci ho cpat na ec2 abych s nim neco provedl a pak ho daval pripadne zpet. Hodne veci jsou ruzne datove obrazy se kterymi obcas i pracuju jako listuju adresare nekdy vygeneuju metadata nekdy to chci prohrabat cely abych nad tim udelal analyzu

RAINBOF: lze instalovat CLI nástroj pro kopírování a (a právě sync) dat. Pak stačí nějaký bat/sh script
gcloud CLI overview  |  Google Cloud CLI Documentation
https://cloud.google.com/sdk/gcloud

lze namountovat jako externí disk
Cloud Storage FUSE  |  Google Cloud
https://cloud.google.com/storage/docs/gcs-fuse
(jen teda nevim zda není omezneí když je ta archive class)

CODEAS: a da se s tim pracovat skrz vps ?

RAINBOF:
Google Cloud
uložených dat: 5 TB (archive class) v Belgii
stažených dat z cloud (10%) : 500 GB / měsíčně
Upload cca 1000 souborů měsíčně

cena cca 800 Kč/měsíc
Google Cloud Pricing Calculator
https://cloud.google.com/products/calculator/#id=5ac83046-9bfd-4a62-8a46-9edb555e7356

Pro sync rsync
rsync - Synchronize content of two buckets/directories  |  Cloud Storage  |  Google Cloud
https://cloud.google.com/storage/docs/gsutil/commands/rsync

no popravde jsem o tom premejslel spis jako o zaloze dat. stabilita vsech jejich storage je znacna. Galerie, file share pristupny pres vpn a nejakou vpsku kde bych si s nima "lokalne" mohl i hrat mi staci. Neni to zadna sluzba svetu :) jen mi proste prijde ze mit doma metr dat na LTO5 a to samy mit "rozbaleny" poruce je lakavy. Vpodstate koketuju s tim mit doma nasku treba 250gb ssd jako takovou cache a zbytek tahat pres mrak.

RAINBOF: https://calculator.aws/#/addService/EFS

potreboval bych si nekam nastrkat data tak do 5Tb fotky, ruzny "souborovy" data. No a asi 200gb ruzny databaze a tak. uvazoval jsem ze bych si to nacpal do cloudu ale nejsem schopnej si spoctat kolik to bude stat. AWS to ma tak zasifrovany ze nejsem schopnej vubec urcit kam co dat a kolik za to a zda se na to ... :)

otazka, nejaky tool, co by mi vytahl info ze vsech aws uctu a rozumne setridil sluzby i podle regionu, aby to bylo na jendnom miste?

Any idea proč mi instance co jsem ráno sundal z c5.2xlarge na c5.xlarge nejde dát zpět na c5.2xlarge?

V instance types c5.2xlarge normálně mám, ale v nabídce pro tuto konkrétní instancí je jen c5.xlarge - ani dolu, ani nahoru,… - ráno tam byly všechny.

My jsme prosli vicero demama a testama. A zname ty BI. Otazka skutecne smeruje uzce k Redshiftu a query kompilaci, kde bam prijde ten pozorovanej cas podivnej (prilis dlouhej).

MALEJPAVOUK: Nechte si udělat demo od jejich sales engineeringu, za to nic nedáte. Pokud jste teda schopni si Looker dovolit (netusim, jak jste velká firma a jak velký budget je). Pokud potřebujete muzu na ne napojit.

VFISA: mame bohuzel pozadavek na ad-hoc analyzu. Takze to bohuzel nemuzeme materializovat, respektive muzeme, ale nevyresi to vsechno (protoze budou uzivatele, kteri si budou mastit svoje vlastni dotazy)
Navic materializce v Lookeru je furt ve zdrojovy databazi. A my nemame problem s query execution casem, ale vylozene s kompilaci toho dotazu.

MALEJPAVOUK: Pokud budete pouzivat normalni BI tak budete v pohodě, Redshift se normalne třeba s Lookerem pouziva. Tam pak jde i nějaký reporty materializovat, popr. cashovat.

Amazon Redshift Analytics & Business Intelligence | Looker
https://looker.com/solutions/amazon-redshift

cau, mate nekdo zkusenosti s AWS Redshift?
Delali jsme testy a pomerne to vyhovuje nasim potrebam... ale narazili jsme na to, ze query compilation trva zhruba 9s. Coz se uplne neprotina s tim, ze nad tim chceme bezet BI. Tak by me zajimalo, jestli je tohle obecnej problem redshiftu, nebo jestli mame smulu na region, lze uplatit support....

TYCHOVRAHE: Je to super, hlavne ten reuse construct coz v CloudFormation proste neudelas. A hlavne to umi vic veci nez samotnej CloudFormation: terrafrom, k8s byt zatim v alfe... A furt neco pridavaj :)
Snad asi nejvetsi pain je, ze snad kazdej den je nova verze :D

TYCHOVRAHE: Ad CloudFormation, uz radsi pouzivam AWS CDK, je to nadstavba co umoznuje psat to v normalnim programovacim jazyku (a support je velkej) misto tech YAML/JSONu ktery muzou u vetsich veci bejt pekne neprehledny.
Pripadne aspon SAM, kterej k CFN pridava par veci navic a halvne ma lokalni run kterej umoznuje ty sluzby jako prave API gateway a lambdy bezet lokalne v kontejnerech.

DOKIS: koukám, že u Pythonu se cold start může pohybovat kolem 0,4s. Vycházím z https://mikhail.io/serverless/coldstarts/aws/. To už je docela dost...