LINKOS: já vedle už dlouho nereagoval...

OTAVA: mrkni se na nadpis tohohle klubu.,.. ten vznikl právě pro vedení flamewar s trolly, aby nepřekáželi jinde :-) jde v podstatě o teorii tzv. "saturace trollů" ...

DANYSEK: seš fakt specialista na trolling. Elektřina (či co) vypadlo v datacentru pod Žižkovskou věží, které by zřejmě _mělo_ splňovat tvoje kritéria (i když to třeba není přímo Sitel). Předpokládám, že zrovna záložní generátory tam mají.

V našem datacentru elektřina nevypadla, ale ty přesto přispěcháš s připomínkou, že to bez záložního generátoru je to nesmysl. Přitom problém vznikl jinde, kde ho evidentně měli/mají :-))

Znovu připomenu, že v Karlině byly asi 2 zásadní výpadky za 10 let: jednou se jim to přeplo na zálohu a přes víkend došla nafta a podruhé jim odešel fázovač ... v tom zálohovaném zdroji zajišťujícím masivní přepnutí všeho v případě výpadku. Tedy oba výpadky byly způsobeny technologií, která měla předejít výpadku :-)

Záložní zdroj si asi časem pořídíme, nicméně bude to řešené formou duálních zásuvkých lišt (dejme tomu červených a běžných) a pouze ti, kdo to budou vyžadovat, si jeden ze dvou zdrojů ve svých serverech zastrčí do zálohované lišty (protože s tím jednak vzniknou další rizika, a jednak jim za to napočítáme víc peněz, logicky).

Ale je fakt neuvěřitelné, jak se do toho zamotáváš: i v případě výpadku, způsobeného něčím úplně jiným (a to nikoliv u nás a právě v datacentru, které by mělo být "profi"), okamžite přispěcháš s tím, jak je naše datacentrum nanic (ačkoliv žádný problém nemělo a výpadek v něm byl způsobený zcela zbytečně z místa, které mělo být daleko víc profi)

Víš co? Titanik postavili profesionálové. Archu postavil amatér.

DANYSEK: ad NAT... no tam je to složité, ale tam to naráží zase na perfekcionismus kolegy, který než aby to přijal tak, že tam může být malý výpadek během přepojování, tak radši vymýšlí řešení, které bude super-perfektní - akorát má tu vadu, že není hotové :-) (to máš asi jako ruský kosmický program :-))

Jako redundantní NAT nemáme proto, že mít to jednoduše je prý pod naší úroveň a musíme ho když už, tak mít s replikací conntrack tabulky :-)) (jako co se mě týče, jsem ze starý školy a holt když se mi nenačte stránka, tak mačkám refresh, ale s tímhle materiálem holt já pracuju, no :-) prostě mít jako zálohu k trabantu další trabant není dost dobrý a musíme mít rolce-royce a k němu rovnou jako zálohu druhý.. tak je to v téhle branži se vším)

DANYSEK: jenže ty to mícháš páté přes deváté. existují levné negarantované produkty a existují garantované produkty a tam jsou náklady na tu rychlou reakci velké. ano, máme pár klientů, pro které i ten 50 minutový výpadek byl nepříjemný, ale pro naprostou většinu našich klientů je důležité, aby reakční doba byla do jednoho dne a ne dýl (často teda zrovna ne ti, co platí nejmíň, jsou ti, co mají největší trpělivost)

absolutně nevím, proč to vidíš takhle, u jakékoliv jiné služby by to bylo nepochopitelné - třeba že hospoda pod nějakou minimální úrovní kvality by už musela být spolková, apod. Pořád jsou to jen kupecké počty.. máš nějaký počet klientů a nějakou pravděpodobnost, že odejde, když má někdo několik málo VIP klientů, tak je pro něj ovšem riziko ztráty každého z nich docela nepříjemné.. když naproti tomu máš spoustu klientů za nízkou cenu, tak se tím to riziko zmírňuje a sleduješ spíš dlouhodobé trendy (nárůst vs. úbytek). Změnit tvůj dlouhodobý trend je ale pro konkurenci nesrovnatelně nákladnější, než přebrat ti nějakého jednoho konkrétního klienta...

Co se týče převěsů, tak fakt nevím, co řešíš: já měl gateway v sousedské síti, tedy z tvého pohledu zavrženíhodný model. Kluci z okolí si ke mě natahali dráty, nejdřív nejshitovější indoor ethernety načerno, až později, už ve spolupráci s majiteli a s SVJ, šlo o více či méně seriózní optické převěsy. Já byl z těch všech asi jediný, kdo od začátku věděl, že takhle to nepůjde a že časem bude nutné to zakopat.... ostatním se líbil buď internet za babku (klientům), nebo rychlý peníze za natažení drátů (parta, která to stavěla).

Já jsem min. jeden z těch (pokud ne ten, kdo na to tlačil nejvíc), kdo to dotáhl po letech do fáze legalizace (byť sám jsem třeba know-how neměl a musel jsem se obalit schopnějšími lidmi... ale jde o ten záměr). A ty to samozřejmě nějak spojíš s mojí osobou!

Přitom je to jednoznačné: spolek u nás chtěl v podstatě rychlý prachy vs. levnej net, a jen málo lidí myslelo dál do budoucna (protože proč by nájemníci, kteří se z velké části mezitím kvůli rostoucím nájmům odstěhovali, měli řešit, kudy k nim teče internet? a majitelé domů byli asi taky radši, když nájemníci daly prachy za nájem, zatímco za drahý net zbytečně neutráceli...).

Převěsy jsou většině lidí buřt - jediné jejich riziko je, že v budoucnu na ně může někdo vlítnout. A proto jsem o zakopání kritických tras od začátku uvažoval. Na rozdíl od sítí v jiných částech města tady nebyla šance pronajmout kolektory, ani tu nebyly obří bloky paneláků s propojenými střechami a sklepy. Měli jsme to těžší a stejně jsme to ustáli (nebo máme našlápnuto to ustát).

Jinak fakt nevím, s čím s tebou vlastně polemizuju... žádným klientům 100% dostupnost datacentra neslibujeme, samozřejmě, realistické je 99.5% - 99.9%, vždy se něco stane, jak říkáš. A jsme tu u debat, jaký typ výpadku je nejpravděpodobnější... nevedl si v jiném klubu zuřivou debatu, že bez záložního generátoru ani ránu? A já tvrdil, že rizika jsou jinde?

Samozřejmě je potřeba zálohovat všechno... uplink, elektřinu, klimatizaci, trasy... na všem pracujeme. (třeba to, že jsme se dokopali do míst, kde budeme mít na výběr z optik jiných operátorů, než je ten stávající, si myslí, že je dlouhodobě pro budoucnost datacentra daleko klíčovější, než to, jestli jsme teď ustáli nějaký nečekaný výpadek na úrovni obou současných BGP peerů současně... jako až rozjedeme redundanci všeho, tak to bude doopravdy a bude to odolné i proti výpadkům, které by způsobil bagr...)

VYHULENY_UFO: hele, ty tomu zase rozumíš... uvědomuješ si, že se tu hádám s člověkem, který víceméně tvrdí, že sousedské sítě se mají budovat jako nějaké spolky, kde si každý zaplatí jakési "internetové pojištění" pro svou domácnost a její členy, všichni platí stejně a všem to chodí víceméně náhodně, a když by nějaký dům třeba chtěl vyšší rychlost, tak nemá šanci si připlatit, protože to by bylo už "podnikání za účelem zisku"?

DANYSEK: nemít v síti single point of failure byl vždy můj dlouhodobý cíl, jenže pak se ti kolem toho motaj lidi, pro které centralizace všeho je snížení nákladů a tak. je to složité, už mi docela nebaví, aby všechny faily kolem sítě byly na mě a všechny úspěchy se připsaly někomu jinému.

Ano - vypnutí záloh mimo Tower souvisí s tím, že po přechodu na 10 Gbps infrastrukturu ta instrastruktura není zatím všude. Jinak osobně nevidím důvod k neobnovení původního peeru aspoň jako zálohy (teda bez toho, že tam potečou peeringová data), takových záloh můžeme i na gigabitu mít co nejvíc a je to lepší než nic. Samozřejmě se z toho výpadku asi nějak poučíme, to je jasné. Vyplývají z toho vtipné závěry, které jsem říkal ohledně availability toho datacentra, ale to je už dávno.

Víš, když je tu nějaká struktura, o kterou rozhoduje víc lidí, ať už z důvodu kvalifikace nebo vlastnického podílu, tak ono není vůbec nikde řečené, že já v ní budu prosazovat něco jiného, než bych prosazoval já. Ty se buď směješ tomu, že to celé nemám pod kontrolou (kdybych měl, tak bych tohle nedopustil, jenže prostě na to nemám, zaplatit ostatním tolik, aby mi na slovo poslouchali), a nebo se prostě nějak jakýkoliv fail, který objevíš, snažíš dát do souvislosti se mnou (stejně jako to děláš u Pirátů).

Konkrétní faily, které bys mi mohl přičíst, samozřejmě existujou, ale ty o mě ani o mé skutečné práci nevíš vůbec nic. Takže náhodně vybíráš problémy nějakých entit, které si se mnou spojuješ.

Je fakt, že třeba v politice se to takhle dělá, ale už třeba v tom podnikání je to složitější. A základní problém je, že pokud něco třeba Piráti dělají dobře (třeba Hřib a Čína: že jsem na CF měl přednášku o tom, co jsem viděl v Číně? policejní kontroly, ostnaté dráty...? koho by to zajímalo?) tak to určitě je náhoda a ne moje zásluha. Stejně tak pokud SPOJE něco dělají dobře (že jsem neprodal podíl a místo toho prosadil zakopání já nevím kolika kilometrů optik, co nahradí nelegalizovatelné optické převěsy?) tak je to určitě tak něco, co se děje samo... zatímco výpadek elektřiny v sousedním sále je něco, co jsem měl předjímat a co je STRÁŠNĚ důležité (hlavně pro někoho, kdo se k těm svým serverům připojí přes UPC a sousedskou síť bude mít jako zálohu, srsly?)

DANYSEK: tak kdyz postavis byznys na tom, ze setris na vsem od hardwaru az po zamestnance, tak nevim co jinyho cekat za vysledky. holt neplati, ze levna reseni jsou ta nejlepsi reseni.

DANYSEK: no dobře, můžu udělat čistě záložní spoj, v tom moje poznání je snad dostatečné, to se dá udělat kombinací prependování s lokální preferencí. My se nechali unést tím, že jsme stejný spoj chtěli využít i na peering, tam je to složitější.

Zálohy budou, člověk se poučí.

DANYSEK: k tomu zdroji: nevím, věci prostě občas odejdou, pro udržení klientů je kritičtější je opravovat. router s dvěma zdroji na APčkách nemáme.

k té záloze: hmm. vyžaduje to backup od spolupracujícího providera. S tím Cogentem to asi vzájemný backup, že :-) Problém může být i s tím, že jsme ty vzájemné zdroje chtěli i jako peering, což ale úplně jednoduše nejde - aby to byl právě je peering dvou AS a backup. Možná to jde složitě, nevím, třeba se to jednou naučíme.

Co nechceš pochopit je to, že naši síť živí to, že dostaneme broadband ke klientům (tedy, nějak víceméně...) a ne hraní s BGP. Ano, jistě si plánujeme s těma zálohama pohrát víc, prostě to přišlo dřív, než jsme byli připraveni.

V NFX ti uhnila během toho výpadku asi třetina provozu, 20 GB z 60 GB, což na rozdíl od dat NIXu nebylo nijak maskované (teď už to odrotovalo do zapomnění). Zajímalo by mě, jestli všem, které postihl stejný problém jako nás, píšeš takové litanie....

DANYSEK: ne, opravdu ne, měli jsme tam špatný PoE splitter, už jsem to vysvětloval víckrát.

Ad to druhý: ne, u BGP nad tím nemáš nikdy úplnou kontrolu, nebo ty možná jo, ale většina lidí ne. Prependování prefixů funguje jen na jeden směr a vše, čím řídíš ten druhý, má charakter "doporučení" a protistrana se stejně může rozhodnout poslat ti to kudy chce. Což není takový problém, dokud mají všechny porty stejnou propustnost.

Obecně problém, že na necelou hoďku vypadne celá síť, je spíš jen v tom, že zvedáš hodně telefonů najednou. Kvůli hodinovýmu výpadku klienty neztratíme... horší jsou neřešené problémy, které se týkají většího množství klientů a nevyřeší se včas. Mysli si co chceš, ale rozhodně potřebujem víc techniků, co budou běhat po domech a stavět a opravovat strukturky a svařovat optiky a tak, než víc síťařů.

Jako chci říct reakční doba na výpadek upstreamu je taky důležitá, ale co rozhoduje, je reakční doba v případě, že ti spadne třeba APčko. To, že jsme v sobotu zvládli za méně než 2h vyměnit zdroj v routeru, za kterým je třeba stovka lidí, je něco, co jsme mohli ovlivnit a rozhoduje to, zda si udržíme stovku lidí, nebo ne.Kdybych reakční doba byla celý víkend, už je to v pytli.

Naproti tomu, ten předvčerejšek mi nechává chladným. Změnit dodavatele tranzitu je fakt jednoduchý.. .ať si to pořešej oni a tohle se víc neopakuje, oni to moc dobře věděj...