• úvod
  • témata
  • události
  • tržiště
  • diskuze
  • nástěnka
  • přihlásit
    registrace
    ztracené heslo?
    KOJAProgramovani 40+
    Diskuze o obzive programovanim pro starsi a pokrocile.
    rozbalit záhlaví
    FLEGMA
    FLEGMA --- ---
    SUCHRE: Podobných fuckup scénářů jsem zažil taky dost, např. výpadek CSMS systému obsluhujícího přes deset tisíc nabíječek a telefonáty naštvaných uvíznutých řidičů elektroaut nebo zpackaná DB migrace bez rollback skriptů, kdy jsme celou noc ručně opravovali data, aby ráno mohly otevřít pobočky banky.

    Každopádně průsery nejvyššího kalibru všude, kde jsem působil, konzistentně způsobovali outsorcovaní kolegové z Indie, historek mám dost, naprosto top fail ze světa databází, co jsem kdy zažil: Při upgradu on-premise PCF CloudFoundry instalace přišli o všechna produkční data z MySQL databází VČETNĚ ZÁLOH, naštěstí billing data byla odsynchronizovaná i v SAPu, jinak by nešlo za tohle období vyfakturovat. V nové verzi PCF zmizely nenávratně databáze (asi chyba v konfiguraci) a vygenerovaly se nové s jinými přístupovými údaji. Samozřejmě si ničeho nevšimli a až po upozornění, že ElasticSearch přetéká logama "connection refused" a nefungují microservisy, se začli problémem zabývat. Zálohy databází byly zašifrované a při upgradu PCF se vygeneroval nový encryption key a ten starý k zálohám nebyl zálohovaný ani uložený v nějakém Password Vaultu, takže zůstaly db backupy, které nešly otevřít, naprosto bizarní situace :-) V průběhu projektu způsobil tento team expertů i nějaké další faily jako zálohovací skript, který ukládal backup do stejného adresáře jako produkční mysql data, takže jednoho dne produkční db spadla na nedostatek místa. Samozřejmě alert/warning na blížící se zaplnění partition nebyl implementovaný, Prometheus byl asi moc scifi. Po těchto incidentech a oprávněné kritice se urazili a prohlásili, že si máme databáze zálohovat sami, když se nám to nelíbí. Není nad to, spolupracovat s mistry oboru :-)
    LUDWIG_
    LUDWIG_ --- ---
    SUCHRE: jak zpozdil system pro catering lety BA? Ze dlouho cekali na overeni jidelnicku, co maji nalozit za jidla na dany lety?
    SUCHRE
    SUCHRE --- ---
    Jednou jsem jel do Skodovky v MB, protoze se jim povedlo poslat zalohy z obou poli proti sobe a protoze to meli blbe nastaveny, prisli o hlavni databaze, takze nemohli nic prijimat do skladu, expedovat, prijimat objednavky ani prodavat. Zdrzel jsem se cestou z Prahy skoro dve hodiny, protoze fronta kamionu v odstavnym pruhu byla uz od Benatek nad Jizerou. Duvodem fronty byla samozrejme Skodovka. Vyrobeny auta meli rozestrkany snad vsude.

    A ten tlak na to, jak urychlit restore a recovery databaze, si nedokazete predstavit. O financnich dopadech jsem radsi ani nepatral, slo cca o desitky milionu euro za den. Nejak se mi to povedlo restore & recovery zrychlit ze 7 dnu na 4 - a to zpusobem, kterej jsem musel utajit i pred chlebodarcem, protoze kdyby to nevyslo, tak by me asi usmazili. To byl asi nejvetsi fuckup, u kteryho jsem asistoval pri reseni.

    Pak jsem resil speky jako zpozdovani odletu British Airways kvuli spatnymu fungovate systemu pro catering, nefungujici cluster v recky bance v dobe nejakejch statem predepsanejch operaci, padajici clearing v rumunsky bance, nefungujici tankovani dieselovejch lokomotiv anglickejch drah, kolabujici system mestsky hromadny dopravy v Barcelone, ...

    Ale na tady slo jen a jen o prachy. Na novorozence bych nemel.
    DEEFHA
    DEEFHA --- ---
    JON: Možná je to něco podobnýho, jako proč nesmí vyhasnout sklářská pec. Prostě to trvá dlouho "nahodit", tak se to asi udělá jednou na začátku a jede to až do konce :-) Nevím, jen tipuju.
    SATAI
    SATAI --- ---
    JANFROG: tohle je rámcově důvod, proč jsem se už na matfyzu zařekl, že nebudu dělat crypto, jaderné (chemické...) věci, medicínské přístroje...
    JANFROG
    JANFROG --- ---
    TOOMIX: SATAI:
    Muj soucasny kolega k tematu kritickych systemu s oblibou vypravi historku ze sveho programatorskeho mladi:

    Bylo nebylo, dostal se na projekt, kde bylo cilem vyvinout software pro rizeni podpurnych systemu pri jednom typu operace srdce - takove to mereni eeg, ekg, umele dychani, podpora obehu atd atp. Byla to tenkrat docela delikatni operace protoze se provadela na novorozenich v prvni hodine zivota - matka sla na cisare a operace se provadela primo na tom samem sale paralelne, navic se pro tu operaci srdce bere tkan ze stehenni tepny (toho novorozence). No proste cire silenstvi.

    Tak nez vubec zacali na tom projektu pracovat, tak primar oddeleni (=zadavatel) vzal nebohe programatory na sal, posadil je do "hlediste" a nechal je sledovat celou tu reznicinu a kdyz to cele skoncilo, tak jim rekl: "Chlapci, kdyz to poserete, to dite se nedozije jedne hodiny. Tak to neposerte." A odesel.

    Od te doby povazuje testovani za "pointless nonsense" a jedine co uznava je formalni verifikace a "correctness by construction" :-)
    JON
    JON --- ---
    TOOMIX: proc se ten cukrovar nesmi zastavit?
    TOOMIX
    TOOMIX --- ---
    FLEGMA: tak to zlatý ZPL - otevřu socket na tiskárnu, pošlu řetězec a hotovo

    An Introduction to ZPL
    http://labelary.com/zpl.html
    FLEGMA
    FLEGMA --- ---
    TOOMIX: Je možné, že už bude dnes tech stack jiný. Před 12 rokama IGP a MPTL, tiskový server Plosyss. K tomu raritka custom implementace IPP protokolu (zdědil jsem a byla to lahůdka ladit, Plossys vrátil jen nějaký error příznak a bylo to jak hledat jehlu v kupce sena).
    TOOMIX
    TOOMIX --- ---
    SATAI: jojo, slepačinky, jako když Bohouš opravoval agregát.

    Chalupáři 04 - Sokové - video Dailymotion
    https://www.dailymotion.com/video/x1dahe2



    Případně cukrovar - ten v září najede a do konce roku/ledna se těch 5 měsíců nesmí zastavit. Když by se zastavil (není řepa, nejede kotelna, nejede vápenka atd.) tak konec, šlus, ende, řepná kampaň v prdeli, desítky milionů vyletěly komínem
    SATAI
    SATAI --- ---
    TOOMIX:

    Nyní drůbežárna... Sejmeš klimatizaci a oni si prostě chcípnou.
    TOOMIX
    TOOMIX --- ---
    FLEGMA: dneska už jede většina těch tiskáren v ZPL nebo ZPL II ne?

    Btw. bezvýpadkový a stresovější provoz na automatozaci je třeba mlékárna, kravám neřeknete "Přestaň teď 3 dny dávat mlíko, potřebujem to opravit" nene, tam se jede 24/7/365 a běda jak něco nejede
    FLEGMA
    FLEGMA --- ---
    LARS_GUNNER: U produkčních linek se může míra stresu výrazně lišit podle země a typu úvazku (zaměstnanec vs externista), zažil jsem u německého autovýrobce výpadek montážních linek kvůli problému s DB2 databází, volali jsme administrátorovi a ten lakonicky prohlásil: "Es tut mir leid Jungs, ich mache jetzt Feierabend" (to mě velmi mrzí hoši, teď mám padla). A z jeho strany naprosto korekt, protože mu opravdu končila pracovní doba a do přesčasů ho nikdo nemohl nutit, protože ochrana zaměstnanců v Německu je přehnaná ad absurdum a síla rady zaměstnanců (Betriebsrat), odborů i pracovního úřadu je nepředstavitelná. Ale jinak souhlas, vyvíjet software pro výrobní provozy a obzvláště pro automotive patří k těm více stresujícím zaměstnáním. Programoval jsem dřív automatizovaný tisk z průmyslových tiskáren a aplikace pro Motorola Handheld terminály a získal tak znalosti obskurních tiskových protokolů IGP a MPTL, které už nikdy nevyužiju. Plný kumbál jehličkových tiskáren pro testování mi nechybí :-) Na druhou stranu HW má svoje kouzlo, nejvíc mě bavily projekty pro emobility firmy a integrace nabíjecích stanic přes OCPP protokol.
    LARS_GUNNER
    LARS_GUNNER --- ---
    FLEGMA: To je prave fajn. Protoze existuji i produkcni linky nebo spotrebni eshopy a to nechces.
    JANFROG
    JANFROG --- ---
    DAVIDOWITCH: Hmm...to zni povedome (az na ten renderer :-)
    DAVIDOWITCH
    DAVIDOWITCH --- ---
    (Píšu renderer v jazyce co mi kolegové vyvíjí pod rukama, proti API co se mění bez dobrého changelogu a na hardware kde se co dvě generaci mění fíčury co se mají ukazovat)
    DAVIDOWITCH
    DAVIDOWITCH --- ---
    SUCHRE: Co konkrétně se vybírá u AI?
    CERMI_FOX
    CERMI_FOX --- ---
    SUCHRE: Většina tvůrčích prací vyžaduje klid a soustředění, nebusí to být zrovna super inovativní R&D, stačí dělat obyčejnýho truhláře, co staví nějaký nábytek tak, aby byl přesně, čistě a dle požadavků.
    FLEGMA
    FLEGMA --- ---
    GIOMIKY: Ztráta drivu nebo dokonce vyhoření je reálný problém, ale pokud vyprší nadšení, tak se vždycky dá zakempit na pozici řadového programátora někde v korporaci a dělat normální "CRUDařinu", taková dobře placená Kolbenka :-)
    MORIARTY
    MORIARTY --- ---
    JANFROG: Snažím se, aby nemusel, ale stejně bude :)

    GIOMIKY: Já doufám, že budu dělat podobný věci co teď, protože mě to baví. Ale v menším množství a za víc peněz a ve zbylým čase budu pěstovat papriky :)
    JANFROG
    JANFROG --- ---
    GIOMIKY: Ja se vidim stale stejne, ve stejne firme, porad pracovat na veci na ktere delam ted (a muj kolega od 2015 :-) a stale mit vidinu, ze za 10-15 let z toho mozna neco bude.
    JANFROG
    JANFROG --- ---
    MORIARTY: Jsem se prave podival jak stare jsou veci, ve kterych se hrabu ted (=zrovna mam otevrene editory se zdrojaky): 1988, 1988 2003 :-)
    (a neopren si neberu, rochnim se v tom v zasade rad a dobrovolne).

    Ale vazne, me to prijde jako takovej zajimavej fenomen. Za dalsich 15 let prijde nekdo, a bude si brat neopren na ten tvuj (a muj) kod. Nebo myslis ze ne?
    Kliknutím sem můžete změnit nastavení reklam