TENCOKACISTROMY: Ano. A pokud to na sobe zavisi, tak to centralni logikou proste nepridelim. Mam nastaveny collision bit pro situace, kdy to muze nastat. Takovy ukol pak pocka az mu bude dovoleno se zpracovat.

Vzhledem k tomu, ze to jsou ukoly jako "kup si neco k jidlu", "najez se", "utrat nejake penize", "trenuj" atd. tak to neni moc rizikove. Navic vetsinu veci insertuju (napr. mnozstvi, statistiky atd), takze soubeh taky moc nehrozi.
Kdyz to neuhlidam, vetsinou se mi neco zdvoji a na to rychle prijdu.

WEWERKA: A ty 4 childy pocitaj neco, co na sobe navzajem nezavisi, rozumim tomu spravne?

TENCOKACISTROMY: Ne, bezi mi najednou 4 childy a jeden master (ten bezi nonstop) + sem tam nejaky zombie :) Vic jak 4 nemaji smysl kvuli vykonu (4 cpu)

WEWERKA: Aha, takze to forkujes ale nakonec ti to stejne bezi seriove?

TENCOKACISTROMY: Oni se diky centralni logice vzajemne mezi sebou synchronizovat nemusi. Proste mam v php cyklus, ktery si na zacatku nacte ukoly, pak jednotlive ukoly forkne, potvrdi zpracovani a uz neceka na dokonceni. V dalsim cyklu uz mi centrala neprideli ukol, dokud nedostane potvrzeni od dokonceneho childu, ze predchozi ukol byl splnen. Zaroven centrala hlida vsechny (doufam) moznosti soubehu, priorit atd.

WEWERKA: Jak teda resis synchronizaci tech forknutejch procesu?
CYBERWOLF: To zalezi na priorite procesu. Kdyz mu das uplne tu nejvyssi a strcis tam "while(true){}", tak to je dost znat.

AVATAR: stavet na pesimistickem predpokladu je urcite dobre, ale 50k mi proste prijde jako hrozne male cislo. Otazkou samozrejme je, co vsechno se s tim dela nebo nedela a tezko k tomu takhle od stolu neco rict.

Jake zkusenosti mas na mysli? :)

YAWGMOTH: Pokud jde o vyhodnocovani "tahu", tak tam bych rekl se muzeme pohybovat i ve vyssich cifrach nez desitkach MB. Samozrejme to zalezi pripad od pripadu.

Kdyz o tom tak ale premyslim, ma cenu tam cpat sleep? Jeden proces si preci nevezme tolik prostredku, aby ohrozil plynuly chod serveru.

YAWGMOTH: Premyslela jsem taky o semaforech, ale nakonec rozhodlo centralni zpracovani v db. Php pouzivam jen na "vypis", veskerou herni logiku mam v db.

WEWERKA: notifikace by v php mohla jít udělat pomocí unixových pipe ... otevřeš "soubor" vytvořený přes mkfifo a čteš, proces spí dokud do fronty něco nepřijde :)

HAKUBJOZAK: ja mel podobnou myslenku, jen teda bych tam spis strcil nejakou frontu (treba rabbitmq apod.)...clovek by do ni cpal vsechno ke zpracovani, pak by clovek pustil bokem workery, ktere by si brali zpravy, zpracovali je, potvrdili jejich vyrizeni apod...

velkej respekt ke vsi ty magii s PIDama, procesama, forkama a dalsim harampadim ale tak me napada, jestli neobjevujete kolo a nebo neignorujete "use the right tool for the right job" ... co treba http://rubyeventmachine.com/ (nevim jestli je neco podobnyho pro PHP)

pripada mi, ze http://en.wikipedia.org/wiki/Not_Invented_Here

ale treba sem uplne mimo a fakt to musite delat hardcorove a na kolene - dopodrobna samozrejme nevim co potrebujete

CYBERWOLF: ano, normálně si uložím pid, v cronu se to pouští pořád znovu, pokud zámek existuje tak se zkontroluje jestli běží proces s daným pidem, jinak se zámek uvolní. Udělat to tímhle způsobem (přes filesystem) dobře neni úplně triviální, souhlasim.

ale co se týče paměti, to mi nepřijde úplně dobrej argument proti. Jestli se skript stejně pouští 1x za minutu tak ta by ta paměť stejně volná být měla, jinak budeš akorát pořád swapovat :). Žere to nějaké prostředky, ale konstantní a ne nárazové. Naopak ušetříš overhead za ty opakované inicializace. Jakejkoliv rozumnej skript se vejde do několika (nízkých) desítek mega a to dneska neni až takovej problém na to vyhradit.

Nemuselo to tak uplne vyplynout, ale vsechny procesy se v php forkuji.

Jinak nevyhoda - spatne se mi debuguji problemy.

Po nejake dobe testovani jsem prisla na nejlepsi variantu zpracovani. Treba bude nekoho zajimat jake problemy ho muzou potkat.

Pracuju s postgresem a php. Diky php nemuzu pouzivat listen/notify, takze se porad musim dotazovat do db. Php sice ma fci na notify, ale ta se stejne porad dokola pta. Dalo by se vyresit dotazovanim z C, tam notify funguje bez problemu.
To je slabina c.1.

Dalsi vec je pamet viz CYBERWOLF. Pouzivam na to knihovny, ktere si pri kazdem volani par bajtu seberou.
Kvuli viceprocesorovemu zpracovani musim volat jednotliva db volani samostatne (connect, query, close). Protoze close potomka by mi zavrel persistentni spojeni i pro hlavni pripojeni. Proste pamet se pri takovem volani zabira pomerne rychle.
Slabinu c.2 - pamet, jsem vyresila automatickym ukoncenim skriptu pri dosazeni urcite obsazene pameti. Skript se navic ukonci 10 sec pred kontrolou na nove spusteni (spousteni z cronu kazdou minutu), tim padem nemuze dojit k vypadku zpracovani (minuta uz je hodne).

Je to na freebsd a nemuzu uplne vyuzit signaly, protoze se tam zpracova vic signalu najednou a to pro moje ucely neni idealni. Na linuxu bych signaly nejspis vyuzila a mozna bych neresila centralni zpracovani pres db.


Takze si eviduju ukoly v db. Ukladam si pidy childu, ktere prijmou job a eviduji stavy, tak abych mohla zajistit vetsinou failover stavu. To vsechno pro napr. 4 procesy najednou (nastavitelne za "behu").

Navic skript si kontroluje, zda vsechny joby opravdu bezi. Kazdy job ma predpokladany cas, takze kontrola nastava az po danem case. Krom toho je u jobu nastavene jak moc kriticky je, zda stopnout cele zpracovani nebo to jen oznamit, ci proste ignorovat a jit dal. Nekriticky job se teoreticky muze pri prelomu proste smazat a udelat se jindy.

Pokud dojde k padu, jsem schopna opetovnym pustenim nedodelane ukoly znovu pustit a dozpracovat. Tady byla potreba kontrola na dvoji zpracovani (job se dela, nastava pad, job se v db dozpracoval a nedal vedet ridicimu zpracovani, opetovne pusteni, dozpracovani spadleho jobu, priznak ze job je jiz zpracovan, pad childu resp. rollback)

Na vsechno existuje planovac. Paradoxne existuje job na vytvoreni planu, ktery tvori ukoly :) Joby vytvari tak, aby se zpracovavaly pokud mozno rovnomerne a logicky s ohledem na logiku hry.
Joby maji v nastaveni priznak, ze muzou ci nemuzou byt soucasne pustene - nemuzou tak vzniknout situace jako "kdyz tam nic neni, vloz tam 1000 zaznamu" a ve vysledku se vytvorilo 2000 zaznamu, protoze se to najednou zpracovalo ve 2 procesech.

Vysledkem je histogram jobu. V budoucnu se pouzije statistika pro dalsi upravy za behu napr. prumerna delka pusteni bude upravovat limit pro kontroly bezicich jobu.

Timhle zpusobem zpracovani veci, ktere trvalo 20 minut se na 4 jadrech (atom, 2 cpu, 2 HT) dela presne 5 minut.

AVATAR: To zalezi na spousta vecech. Muzes mit klidne gigantickou mapu (treba milion zaznamu), ale kdyz to budes mit dobre indexovany a clusterovany, a dotazy a updaty se budou vzdycky tykat "malyho" mnozstvi zaznamu, tak je v zasade jedno jestli tam tech zaznamu je milion nebo dva miliony.

CYBERWOLF: jaky jsou tvy zkusenosti? Ja chci radeji zacit trochu pri zemi, abych pak nebyl nemile prekvapenej...

YAWGMOTH: smycka se sleepem je ale trochu vypecena, je treba si zajistit, aby to OPRAVDU bezelo jenom jednou a pokud to z nejakeho duvodu bezet prestane, aby se to znovu pustilo, coz neni uplne sranda.

Na zamek pozor, protoze skript muze neocekavane skoncit a zamek tam zustane viset.

Dalsi vec je, ze kdyz skript spi, tak sice nezatezuje procesor, ale porad si drzi pamet (coz u prepoctu muze byt docela knedlik), spojeni k DB a podobne zdroje.

AVATAR: Tady by asi byl docela prostor pro optimalizaci prace s DB, protoze 50k zaznamu... to mi prijde porad dost malo na to, aby to byla hranice pohodoveho provozu.

ok, neco o tom jeste nactu a verim ze se mi to podari dat dohromady, diky za doporuceni ;)

Plus k tomu navic zpracovani pres fork(). Na to jsem prisla diky podnetum tady ve foru a skutecne to zpracovani zrychlilo. A to jsem se bala zamykani.

Jinak na zamek je idealni ukladat vlastni pid do db a ten pak kontrolovat na spusteni. Nemuze dojit k deadlocku jako kdyz se pracuje s diskem.

Neco takoveho

//nactu si pid z sql a overim jestli se nepousti 2x
$r=exec_sql_getone("select coalesce(konstanta_int_vrat('ROBOT_PID'),0)");
if (!empty($r)) { //test na dvoji spusteni
$tmp=`/bin/ps -o command -p $r`;
if (eregi(ROBOT_RUNTIME,$tmp)) { die("dvoji spusteni\n"); }
}
//nastavim pid
echo "nastavuju pid=".getmypid()."\n";
exec_sql("select konstanta_int_nastav('ROBOT_PID',?)",array(getmypid()));

YAWGMOTH: aha, uz rozumim. Diky moc za tip ;)

AVATAR: něco jako

$data = array();
while (true) {
    sleep(1); // sleep je na začátku schválně, kdybych chtěl někde v následujícím kódu
              // třeba použít continue, nebo něco takového, prostě aby bylo zaručeno, 
              // že v každém běhu smyčky ten spánek skutečně nastane
    if (empty($data)) { $data = nacteni_akci_z_databaze(); }
    
    $akce = array_pop($data);
    if ($akce) zpracuj_akci($akce);
}

tohle se pro jistotu stejně pouští cronem, aby se to samo spouštělo znovu, kdyby to náhodou kvůli nějaké chybě spadlo.. ale zároveň se ten proces nesmí množit, takže na začátek to chce ověřit, jestli už to neběží.. třeba

if(!mkdir("cesta_k_zamku")) {
  // vhodná cesta je třeba /var/lock, /tmp, nebo tak, prostě adresář, který je při restartu systému promazán
  // adresář se nepovede vytvořit pokud už existuje a tedy tenhle skript běží, tj  můžeme končit
  exit;
}

Tohle teda je trochu zjednodušeně a ani ne kompletní (ještě je třeba ten zámek občas mazat, třeba poznat když skript už neběží protože spadnul), i je podobných možností víc ... Na obdobné téma zrovna má být v Praze přednáška, byť teda ne v PHP, ale principy snad budou podobné: http://srazy.info/4it445-vyvoj-webovych-aplikaci-na-vse/908

a k tomu omezení databáze: chápu no, já s tim právě taky trochu bojoval, chtěli jsme totiž vysloveně masivní multiplayerovou hru, kde hrají všichni spolu. Na facebooku třeba taková vpodstatě není ani jedna, což mi přijde smutné, ale potom při stovkách tisíc hráčů už relačním databázím dochází dech no, my nakonec od MySQL odešli a zkoušíme válčit s MongoDB.. jestli jsme si pomohli se teprve uvidí :)