• úvod
  • témata
  • události
  • tržiště
  • diskuze
  • nástěnka
  • přihlásit
    registrace
    ztracené heslo?
    LITTLELICloud computing - An unidentifiable device that does the work for you :)
    Cloud architektura, Cloud platformy, Vývoj aplikací v Cloudu, Návrhové vzory a idiomy
    rozbalit záhlaví
    CODEAS
    CODEAS --- ---
    RAINBOF:
    Google Cloud
    uložených dat: 5 TB (archive class) v Belgii
    stažených dat z cloud (10%) : 500 GB / měsíčně
    Upload cca 1000 souborů měsíčně

    cena cca 800 Kč/měsíc
    Google Cloud Pricing Calculator
    https://cloud.google.com/products/calculator/#id=5ac83046-9bfd-4a62-8a46-9edb555e7356

    Pro sync rsync
    rsync - Synchronize content of two buckets/directories  |  Cloud Storage  |  Google Cloud
    https://cloud.google.com/storage/docs/gsutil/commands/rsync
    DOKIS
    DOKIS --- ---
    RAINBOF: U AWS je to vzdy narocne. Napriklad je treba zjistit, jestli a kolik se plati za prenosy dat. Obecne prenosy do AWS jsou vetsinou zdarma, ale prenosy ven z AWS nejsou uplne nejlevnejsi a muze to byt celkem znat.
    RAINBOF
    RAINBOF --- ---
    potreboval bych si nekam nastrkat data tak do 5Tb fotky, ruzny "souborovy" data. No a asi 200gb ruzny databaze a tak. uvazoval jsem ze bych si to nacpal do cloudu ale nejsem schopnej si spoctat kolik to bude stat. AWS to ma tak zasifrovany ze nejsem schopnej vubec urcit kam co dat a kolik za to a zda se na to ... :)
    VESNACH
    VESNACH --- ---
    otazka, nejaky tool, co by mi vytahl info ze vsech aws uctu a rozumne setridil sluzby i podle regionu, aby to bylo na jendnom miste?
    NAVARA
    NAVARA --- ---
    Any idea proč mi instance co jsem ráno sundal z c5.2xlarge na c5.xlarge nejde dát zpět na c5.2xlarge?

    V instance types c5.2xlarge normálně mám, ale v nabídce pro tuto konkrétní instancí je jen c5.xlarge - ani dolu, ani nahoru,… - ráno tam byly všechny.
    MALEJPAVOUK
    MALEJPAVOUK --- ---
    My jsme prosli vicero demama a testama. A zname ty BI. Otazka skutecne smeruje uzce k Redshiftu a query kompilaci, kde bam prijde ten pozorovanej cas podivnej (prilis dlouhej).
    VFISA
    VFISA --- ---
    MALEJPAVOUK: Nechte si udělat demo od jejich sales engineeringu, za to nic nedáte. Pokud jste teda schopni si Looker dovolit (netusim, jak jste velká firma a jak velký budget je). Pokud potřebujete muzu na ne napojit.
    MALEJPAVOUK
    MALEJPAVOUK --- ---
    VFISA: mame bohuzel pozadavek na ad-hoc analyzu. Takze to bohuzel nemuzeme materializovat, respektive muzeme, ale nevyresi to vsechno (protoze budou uzivatele, kteri si budou mastit svoje vlastni dotazy)
    Navic materializce v Lookeru je furt ve zdrojovy databazi. A my nemame problem s query execution casem, ale vylozene s kompilaci toho dotazu.
    VFISA
    VFISA --- ---
    MALEJPAVOUK: Pokud budete pouzivat normalni BI tak budete v pohodě, Redshift se normalne třeba s Lookerem pouziva. Tam pak jde i nějaký reporty materializovat, popr. cashovat.

    Amazon Redshift Analytics & Business Intelligence | Looker
    https://looker.com/solutions/amazon-redshift
    MALEJPAVOUK
    MALEJPAVOUK --- ---
    cau, mate nekdo zkusenosti s AWS Redshift?
    Delali jsme testy a pomerne to vyhovuje nasim potrebam... ale narazili jsme na to, ze query compilation trva zhruba 9s. Coz se uplne neprotina s tim, ze nad tim chceme bezet BI. Tak by me zajimalo, jestli je tohle obecnej problem redshiftu, nebo jestli mame smulu na region, lze uplatit support....
    MALANIUS
    MALANIUS --- ---
    TYCHOVRAHE: Je to super, hlavne ten reuse construct coz v CloudFormation proste neudelas. A hlavne to umi vic veci nez samotnej CloudFormation: terrafrom, k8s byt zatim v alfe... A furt neco pridavaj :)
    Snad asi nejvetsi pain je, ze snad kazdej den je nova verze :D
    TYCHOVRAHE
    TYCHOVRAHE --- ---
    MALANIUS: CDK jsem neznal, ale vypadá to mocně, dík
    MALANIUS
    MALANIUS --- ---
    TYCHOVRAHE: Ad CloudFormation, uz radsi pouzivam AWS CDK, je to nadstavba co umoznuje psat to v normalnim programovacim jazyku (a support je velkej) misto tech YAML/JSONu ktery muzou u vetsich veci bejt pekne neprehledny.
    Pripadne aspon SAM, kterej k CFN pridava par veci navic a halvne ma lokalni run kterej umoznuje ty sluzby jako prave API gateway a lambdy bezet lokalne v kontejnerech.
    QUICK
    QUICK --- ---
    DOKIS: koukám, že u Pythonu se cold start může pohybovat kolem 0,4s. Vycházím z https://mikhail.io/serverless/coldstarts/aws/. To už je docela dost...
    DOKIS
    DOKIS --- ---
    U Lambda je trochu problem cold start. Pokud tvoje funkce delsi dobu nebezela, tak pak prvni zavolani trva vyrazne dele nez obvykle. Je otazka, jestli to to vadi. Konkretni zpozdeni zavisi na jazyku (presneji spis slozitosti behoveho prostredi), zrovna Python je z toho pohledu celkem dobra volba, Lambdy v Pythonu maji spis rychlejsi cold start. Myslim, ze to neni tak davno, co zavedli sluzbu, ze si muzes platit, aby jsi mel rovnou v zaloze nejaky pocet Lambda "instanci" pripravenych k behu, ale tam uz pak ta cena prestava byt zanedbatelna.

    Pokud ti nevadi latence a pocet requestu bude nebude velky, pak to serverless (API gateway a Lambda) nemusi stat skoro nic, protoze se plati jen za pustene requesty. Ale zase kdyz te nekdo zacne poradne bombardovat pozadavkama, tak se muzes celkem prohnou. I kdyz API gateway myslim umi omezit maximalni pocet pozadavku.

    Ja podobne reseni (bez Route 53 a s daty v DynamoDB misto S3) pouzival na jednu aplikaci, kde jsem 4x za hodinu posilal do databaze par trivialnich udaju a jednou-dvarkat za den si je vytahnul. Cena byla v centech za mesic :-).
    QUICK
    QUICK --- ---
    TYCHOVRAHE: To vypadá použitelně, dík moc! Zkusím se tím prohrabat :)
    TYCHOVRAHE
    TYCHOVRAHE --- ---
    QUICK: Docker určitě ne, lambda je jen funkce která se zavolá po nějakém triggeru, zde http request. S lokálním vývojem týhle kombinace zkušenost nemám.

    Automatizace deploymentu - heslo CloudFormation.

    Koukni ještě tady na to, vypadá to že to má odpovědi na tvé otázky:
    What is the AWS Serverless Application Model (AWS SAM)? - AWS Serverless Application Model
    https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/what-is-sam.html
    QUICK
    QUICK --- ---
    TYCHOVRAHE: Díky, kdybych se touhle cestou vydal, jak probíhá lokální vývoj? Jsem zvyklý na docker, ale tam asi lambdy úplně nepofrčí. Jak vůbec probíhá deployment tohodle? Dá se to napsat do konfiguračního souboru a pak jedním příkazem všechno nasadit / přenasadit?
    TYCHOVRAHE
    TYCHOVRAHE --- ---
    QUICK:
    Aspoň aby diskuze nestála, tak nahodim, použitelností a nedostatkama si uplně jistej nejsem. Snad by šlo použít:
    Route 53 na výběr regionu dle latence serveru
    API Gateway + Lambda na implementaci endpointů a logiky, zkopírované do všech regionů kde to chceš obsluhovat
    Data, pokud nepotřebuješ databázi, můžeš třeba uložit na S3, což je globální služba. Je otázka, jestli latence v takovém případě bude přijatelná.
    Pokud bys chtěl databázi, nebo to bylo pomalý, tak RDS a třeba to Postgres a read repliky do ostatních regionů - to pak asi vyjde dráž.

    Route53+API Gateway+Lambda+S3 by mohlo být i celkem levný, dle trafficu. A je to komplet serverless, tak ti odpadá nějaká údržba.

    Python na Lambdě není problém.

    Více např.
    Building a Multi-region Serverless Application with Amazon API Gateway and AWS Lambda | AWS Compute Blog
    https://aws.amazon.com/...ulti-region-serverless-application-with-amazon-api-gateway-and-aws-lambda/

    Amazon AWS Route 53 GEO DNS Configurations - nixCraft
    https://www.cyberciti.biz/cloud-computing/aws/route-53-geodns-tutorial/
    QUICK
    QUICK --- ---
    Provozuju web s citáty (Django + Postgres) na normální VPS a před nějakým časem jsem jen tak z legrace zveřejnil API pro získání náhodného citátu na RapidAPI.

    Chtěl bych si na téhle blbině vyzkoušet AWS, tak mě napadlo, že bych tento endpoint předělal do AWS. Chtěl bych, aby to bylo distribuované kdekoliv (když někdo pošle dotaz z USA, tak to obslouží servery v USA, když z EU, tak v EU). Dat bude malinko (třeba výběr 1000 citátů), je mi jedno jak to budu v AWS držet. Jen bych je chtěl jednou za čas přegenerovat (předpokládám, že na mém webserveru zavolám nějaký job, který je vytáhne z db a nhraje na AWS).

    Poradíte mi jak bych to mohl na AWS poskládat? Ideálně kdybych to zvládnul naprogramovat v Pythonu.
    APPU
    APPU --- ---
    APPU: Ten minus byl lepsi nez odpoved. Kazdopadne povedlo se najit reseni
    APPU
    APPU --- ---
    Tak aspoň nastíním problém
    NAS my cloud EX2 Ultra
    Na některých kompech mi zobrazuje pře web klienta pouze pár řádků a pak nic. Dohledal jsem, že se to občas děje nezávisle na konfiguraci, OS, prohlížeči. Takže otázka jestli se s tim někdo setkal a jde to fixnout. Nebo jestli existuje něco čim se k tomu připojit bez web klienta. My cloud desktop mi nejde rozchodit. Přihlásí mě to, dá mi na výběr zařízení a pak mě vykopne.
    Kliknutím sem můžete změnit nastavení reklam