CYBERWOLF, CYBERWOLF: Jj, s tim souhlasim.

CYBERWOLF: jinak receno, myslim si, ze pokud se nebude resit vse najednou, ale tak ze se bude - treba paralerne - pracovat pouze s vysledky nejake uz ukoncene faze a dalsi faze nezacne dokud neskonci ta stavajici, tak k deadlocku nemuze dojit.

WEWERKA: k deadlocku by, si myslim, melo/nemelo dochazet nezavisle na vykonu stroje. Kdy muze nastat? Neco ceka na neco jineho, co ceka zatim ceka na to prvni neco, coz muze nastat jen v pripade, ze by se to vyhodnocovalo paralerne a to veci, ktere na sobe vzajemne zavisi. Kdyz se ale budou vyhodnocovat veci, ktere zavisi jen na necem, co uz bylo vyhodnoceno predtim a ne na tom, co se vyhodnocuje ted, tak by tenhle problem nemel nastat.

CYBERWOLF: K tomu deadlocku by v takove databazovem navrhu mohlo dochazet dost casto. Je to teda jen teorie, stejne nemam zadny quad+ stroj na otestovani.

CYBERWOLF: Tak nejak jsem to delala v te mezifazi. Pocitala jsem to podle kategorii. Zlepseni bylo, ale stale ne dost.


Ted me napada reseni, ktere tady zminil TENCOKACISTROMY tzn. castecne predpocitani a navic na to aplikaci stromu zavislosti. Ale budu si to muset dukladne rozepsat a rozmyslet.

WEWERKA: cemu by vadilo zamykat jenom radky?

TENCOKACISTROMY: Vsechno v jedne tabulce. Ridici tabulky k jednotlivym typu a konfigurace jsou mimo.

Zamykat stranky? Myslis row? To umi, ale nepouzivam.

Co rozdelit tah na (nejak logicky navazujici) faze a provadet je postupne? Tj. ze kdyby mel probehnout tah - rekneme - jednou za hodinu, tak by se misto toho provedlo kazdych 15 minut neco.

Napr. (podle minimalne predstavy, kterou o tve hre mam:) ):
1) presuny (pracovnik odejde do jineho mesta)
2) produkce (pracanti pracuji - vyrabi veci)
3) spotreba (pracanti jdou na obed)
4) ztraty (shorela kovarna)

Pokud je mozne rozclenit tah na vic samostatne vyhodnotitelnych fazi, tak se tim zatez prijemne rozlozi - samozrejme cim vic fazi, tim lepe se rozlozi. Hraci co u toho budou prilepeni ve dne v noci pak muzou taky lepe reagovat na to, co se deje, namisto toho, aby se po provedeni celeho velkeho tahu divili, co se jim to stalo :)

WEWERKA: Jako ze mas vsechny atributy v jedny tabulce nebo ze mas ty tabulky jakoby podedeny od sebe?

Ten postgress neumi zamykat jen jednotlivy stranky misto cely tabulky?

TENCOKACISTROMY: Pouzivam db navrh jako ma ucetnictvi Noris. Jedna obrovska tabulka, kde jsou uplne vsechny mozne subjekty - lidi, material, produkce, vylepseni, kouzla atd. Proste vsechno v jedne tabulce.
Sice nepouzivam explicitni row lockovani, ale i tak si myslim, ze sance na deadlock je velka. Predikci treba propocitavam po jednotlivych subjektech tzn. po 1 radku.

Mozna kdybych to prepsala na "select for update" a k tomu si koupila 8 jadrovy stroj, tak by tu byla urcita sance :) Ale i tak necekam obrovske zrychleni..

WEWERKA: Tak ono se da paralelizovat mnoha zpusoby. To ti tam opravdu uplne vsechno zalezi na uplne vsem? Nemuzes to rozdelit na nekolik fazi, ktery se daj rozdelit na nekolik na sobe nezavislejch vypoctech?

TENCOKACISTROMY: 200k uzivatelu ne, spis tak 200k "jednajicich db radku"

TENCOKACISTROMY: Problem je v tom, ze opravdu neumim udelat uplne paralelni vypocet. Sance na deadlock je v mem pripade hodne velka.
Taky mi neni prijemne, ze to musim delat sekvencne :( Kurzory nepouzivam.

WEWERKA: Jestlize celej ten vypocet je sekvencni, tak ti je jedno, ze si zamyka tabulky, ne? Teda v pripade, ze do nich nechces zaroven psat data od uzivatelu - ale proc neco takovyho delat?

Kdyz se vyhnes kurzorum a vyuzijes toho, v cem je to sql silny - mnozinovy operace, tak bych v tom nevidel zasadni problem.

WEWERKA: Jestlize chces mit 200k uzivatelu, tak bych to cely resil rovnou nekolika serverama. Atom je fajn na vyzkouseni, ale v realu budes mit dost jiny prostredi a na to bych se soustredil.

TENCOKACISTROMY: Ne, 80k je jen na testovani. Realnejsi odhad je tak kolem 200k za plneho provozu.

Jeste ohledne paralelizace. Postgres pri updatu nejake spolecne tabulky zamkne ostatni pripojeni (idle in transaction) a ceka na dokonceni toho puvodniho. Musela bych asi jen selectovat a proste nejde.
Vsechno je to delane pres pl/pgsql, co pusteni fce to transakce. Nenapada me zpusob jak bych tohle mohla udelat vice threadove.

WEWERKA: Jestlize chces mit 80k samostatne se rozhodujicich subjektu, tak se vubec divim ze se ti to na Atomu spocita za 20 minut :). V tomhle mnozstvi mi prijde naprosto korektni reseni na to poridit viceprocesorovej nadupanej server.

To cislo 80k je konecny?

Jediny, co me napada je udelat pripravny vypocty, ktery se zakladaj na jiz odehranejch tazich a po odehranym tahu nasledne aplikovat novy skutecnosti. Ale tezko rict, jak to mas provist, ten popis je dost obecnej.

TENCOKACISTROMY: To uz jsem zkousela. Mam naprogramovano rekneme 10% vsech moznosti, ktere se v tom tahu muzou stat a pri testovacim vzorku 80k subjektu si pockam cca 20 minut. Testovaci stroj je teda jen maly atom, ale i tak je to hodne.
Pak jsem udelala takovy hybrid tzn. neco se spocita prubezne a neco az na prelomu. To bylo rychlejsi, ale stejne zadna slava.
Vsechno jsem zoptimalizovala. Napr. zadne updaty, pouze inserty a stejne je to pomale.
Paralelizace tu asi nepujde. Nechci riskovat a isolaci mam nastavenou na bezpecnou. DB je BTW postgres.

Problemem v te moji hre je, ze kazdy radek v db ma svoje jmeno :) A nejen jmeno, ale i potreby a vlastnosti. On sam jedna. Napr. jde na rande, soulozi, stara se o rodinu, ma touhu byt vojakem, utraci vydelane penize atd atd. To predstavuje hrozne hw naroky.
Nehodlam delat hloupou klikaci hru, jakych jsou uz tucty, takze tohle budu muset nejak vyresit...

WEWERKA: Ja bych se na predpocitavani dalsiho tahu, jenz zavisi na aktualnim tahu, uplne vykaslal. Co tim chces ziskat? Vetsi rychlost? Nebylo by lepsi tu rychlost resit treba paralelizaci?

Mela bych tu takovy maly problem.

Delam tahovou strategii a rozhodla jsem se vsechny budouci aktivity predpocitat tzn. hraju tah 1, ale v pozadi se pocita tah 2. Na prelomu se jen presmeruji ukazatele na novejsi verzi a je to.
Vsechno uzasne, jen mam takovy "maly" problem. Pokud se uz na predpocitanem subjektu stane zmena, musim provest predpocitani znova i u vsech, kterych se ta zmena muze tykat.

Uvedu priklad - mam 3 pracovniky a vyrabi v kovarne podkovy. Originalni predikce rika, ze pristi tah budu mit 3 podkovy (od kazdeho 1).
Ted 2 verze
a) 1 pracovnik odejde do jineho mesta => musim prepocitat produkci kovarny => 2 podkovy (menim parent, ostatnich na stejne urovni se to netyka)
b) kovarna vyhori => musim presmerovat pracovniky na jinou cinnost => zadna podkova (menim vsechny child + self)

Takovych situaci mam tisice a potrebovala bych vyresit jak zjistit co vlastne mam pocitat. Napadaji me ruzna reseni se savepointy, stromy dle aktivit atd., ale vsechno ma svoje mouchy :(

Neresil nekdo z vas podobnou vec? Pripadne kdyby nekdo mel odkaz na literaturu, kde se neco obdobneho resilo.

WEWERKA: MMOS ;) tema je tajny zatim ;)