• úvod
  • témata
  • události
  • tržiště
  • diskuze
  • nástěnka
    • přihlásit
    registrace
    ztracené heslo?
    ANGEL333node.js - Evented I/O for V8 JavaScript
    SUCZKER
    SUCZKER --- ---
    1 odpověď
    KOC256: Bylo by lepsi, kdybys napsal, co delas. Proste document.ready nebo ekvivalent ke vzdycky lepsi. Je stranka staticka, nebo je v ni JS, co ji na klidntovi vyrendruje? Tohle vse muze hrát roli? Kdyztak hod Vic info do posty, jestli to neni top secret project.

    Zkusit stranku po loadu ulozit a podivat se, jestli tam skutecne je Dom structural, ktera odpovedi tomu selectoru, neni od veci.

    Proc proste nevyzlousis jiny timeout eventy z toho page.goto a uvidis? A pak napis, pokud to nebudete fungovat.

    Ja nevim, co chces scrapovat, se pak tezko ladi, když neco nefacha.
    KOC256
    KOC256 --- ---
    1 odpověď
    SUCZKER:
    Jsi dost tajemný...

    Jaká je tedy nejlepší praxe na úpravu toho řádku, když waitUntil: 'load' není to pravé...:
    await page.goto('https://example.com/Tools/?name=' + nick + '&loop=' + loop + '&submit=Filter', {waitUntil: 'load'});

    Patří do parametru něco jiného?
    SUCZKER
    SUCZKER --- ---
    koukam, ze to "page.goto" ma jeste varianty "domcontentloaded" a "networkidle0", atd.. mozna zkus neco z nich.
    SUCZKER
    SUCZKER --- ---
    1 odpověď
    KOC256: To si zrejme load mysli. Nevim, co se snazis scrapovat, ale udalost "document.load" neni to samy, co udalost "document.ready", jen tak na okraj. Bylo by asi vhodny si dokument pote, co skonci load, nekam ulozit, aby bylo jisty, ze tam skutecne je to, co hledas.
    KOC256
    KOC256 --- ---
    1 odpověď
    SUCZKER:
    Dik... ale proc tam je teda toto:
    {waitUntil: 'load'}

    Myslel jsem ze to resi ten load. Pokud by load dobehl, tak tam třen prvek urcite je. Leda ze by dobehl ale vratil prazdnou stranku (bila streanka) a load by se myslel ze tedy hotovo...
    SUCZKER
    SUCZKER --- ---
    1 odpověď
    KOC256: process.on('unhandledRejection', (err) => { ... }) asi znas, to pisu jenom tak do foroty. Celou porceduru mas urcite oznaceno jako async, takze to problem nebude.

    Co ctu dokumentaci k waitforselector, tak pokud se proste neobjevi markup, kterej by odpovidal selectoru behem danyho timeout (defaultne asi tech 30000ms, ale nastavitelne pomci druhyho parameteru options), tak to proste throwne. Rekl bych, ze proste na strance se behem tech 30 sekund ten selektor neobjevi nebo tam proste nikdy nebyl.

    Je to prijatelne vysvetleni ?
    KOC256
    KOC256 --- ---
    Jinak ten chrome na linuxu oproti phantomu+casperu na widlich je 2x pomalejsi... (3 vs 7 minut).
    Nevim na kolik je to srovnatelne, protoze to muze byt klidne i vykonem.
    Win 10, 4 jadra i, 12GB RAM
    vs
    Debian jessie (VPS), 2 jadra, 1GB RAM (RAm je dost), procak obcas na 100%
    KOC256
    KOC256 --- ---
    1 odpověď
    
for (loop of [2, 3, 5, 7]) {
	try {
		await page.goto('https://example.com/Tools/?name=' + nick + '&loop=' + loop + '&submit=Filter', {waitUntil: 'load'});
	} catch (error) {
		console.log('ERROR TU');
		continue;
	}
console.log('17');
	await page.waitForSelector('textarea:not(#support_body)');
console.log('18');
...


    mám to v rámci webserveru a chci aby při nedostupnosti (timeout) jedné URL aby mi to skočilo na další... Takže otrocky takto všude dávám try+catch. Ale stává se mi, že i když mi to projde tím page.goto(), tak mi to spadne na:
    UnhandledPromiseRejectionWarning: Error: waiting failed: timeout 30000ms exceeded
    v page.waitForSelector().


    - Nějak jsem hloupě doufal, že waitUntil: 'load' se tam dává, aby se čekalo na load...
    - Mám nastaveno await page.setDefaultNavigationTimeout(3000);, což ale platí jen pro goto().

    Nějaké know-how k tomuto pls?
    KOC256
    KOC256 --- ---
    Jinak drobné zastavení nad rozdíly Puppeteer a CasperJS... ...pokud by to někoho zajímalo.

    C:
    var txt = casper.fetchText('textarea');
    P:
    const txt = await page.$eval('textarea:not(#support_body)', el => el.value);

    Protože ve stránce jsou dva prvky textarea a z toho ten #support_body je neviditelný a ten co chci použít nemá žádný identifikátor (ani nadřazený). Vyplývá z toho, že Chrome pracuje i s neviditelnými elementy.

    C:
    nicks.forEach(function(nick) {
    P:
    for (nick of nicks) {

    C:
    pageSettings: { loadImages: false, }
    P:
    await page.setRequestInterception(true);
page.on('request', request => {
	if (request.resourceType() === 'image')
		request.abort();
	else
		request.continue();
})


    const nicks = [
	//'pepa'
	,'koc256'
	,'karel'
];

    C:
    projde
    P:
    hodí chybu - vadí mu ta první čárka

    U Chrome se mi líbí, že se nekonečně nezanořuje syntaxe...

    A jeden z hlavních je že PhantomJS je jeden velký problém s instalací a provozováním... :(
    KOC256
    KOC256 --- ---
    +1
    SUCZKER: code
    ...
    /code
    BULHI
    BULHI --- ---
    +1
    SUCZKER: to je nyx feature, syntax highlighting
    SUCZKER
    SUCZKER --- ---
    2 odpovědi
    a ja se zeptam naprosto debilne a offtopic, jak sem dostavate ty barevny logy z terminalu ??
    KOC256
    KOC256 --- ---
    MARYO:
    zatim jsem si vzal od Forpsi VPS na 2 mesice zdarma. Jinak stoji 25kc/mesic. To na to hrani mi i stoji za to...
    MARYO
    MARYO --- ---
    1 odpověď
    KOC256: Nevim ale jestli to pujde nainstalovat na tom ARM :-)
    KOC256
    KOC256 --- ---
    1 odpověď
    MARYO:
    Díky.
    Dneska jsem si udělal základní kostru a zatím OK. Jelikož phantom byl fakt problém. Pořád něco nešlo a šel opakovaným rychlým refreshem shodit. Teď už jen přepsat aplikaci z caspera :)
    MARYO
    MARYO --- ---
    1 odpověď
    BTW já bych šel spíš do https://github.com/GoogleChrome/puppeteer od Googlu, ten běží na headless Chrome.
    MARYO
    MARYO --- ---
    Ten server bezi na ARM a ten phantomjs-prebuilt pro to nema binarku.
    Potom bych zkusil
    GitHub - fg2it/phantomjs-on-raspberry: Phantomjs for raspberry pi
    https://github.com/fg2it/phantomjs-on-raspberry
    nebo
    GitHub - ApioLab/phantomjs-2.1.1-linux-arm
    https://github.com/ApioLab/phantomjs-2.1.1-linux-arm
    KOC256
    KOC256 --- ---
    Myslím, že je problém, tu:
    Unexpected platform or architecture: linux/arm

    Ale našel jsem jen verzi pro PÍčku a ta mi nefungovala...
    KOC256
    KOC256 --- ---
    MARYO:
    Už jsem to zkoušel dříve a tedy výpis chyby...

    
admin@NAS:/volume1/web/node$ npm install phantomjs-prebuilt -g
npm WARN checkPermissions Missing write access to /volume1/@appstore/Node.js_v8/usr/local/lib/node_modules
npm ERR! path /volume1/@appstore/Node.js_v8/usr/local/lib/node_modules
npm ERR! code EACCES
npm ERR! errno -13
npm ERR! syscall access
npm ERR! Error: EACCES: permission denied, access '/volume1/@appstore/Node.js_v8/usr/local/lib/node_modules'
npm ERR!  { Error: EACCES: permission denied, access '/volume1/@appstore/Node.js_v8/usr/local/lib/node_modules'
npm ERR!   stack: 'Error: EACCES: permission denied, access \'/volume1/@appstore/Node.js_v8/usr/local/lib/node_modules\'',
npm ERR!   errno: -13,
npm ERR!   code: 'EACCES',
npm ERR!   syscall: 'access',
npm ERR!   path: '/volume1/@appstore/Node.js_v8/usr/local/lib/node_modules' }
npm ERR!
npm ERR! Please try running this command again as root/Administrator.

npm ERR! A complete log of this run can be found in:
npm ERR!     /var/services/homes/admin/.npm/_logs/2018-02-06T08_13_18_993Z-debug.log
admin@NAS:/volume1/web/node$ sudo npm install phantomjs-prebuilt -g
Password:
/volume1/@appstore/Node.js_v8/usr/local/bin/phantomjs -> /volume1/@appstore/Node.js_v8/usr/local/lib/node_modules/phantomjs-prebuilt/bin/phantomjs

> phantomjs-prebuilt@2.1.16 install /volume1/@appstore/Node.js_v8/usr/local/lib/node_modules/phantomjs-prebuilt
> node install.js

PhantomJS not found on PATH
Unexpected platform or architecture: linux/arm
It seems there is no binary available for your platform/architecture
Try to install PhantomJS globally
npm ERR! code ELIFECYCLE
npm ERR! errno 1
npm ERR! phantomjs-prebuilt@2.1.16 install: `node install.js`
npm ERR! Exit status 1
npm ERR!
npm ERR! Failed at the phantomjs-prebuilt@2.1.16 install script.
npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

npm ERR! A complete log of this run can be found in:
npm ERR!     /root/.npm/_logs/2018-02-06T08_14_29_381Z-debug.log
admin@NAS:/volume1/web/node$
    KOC256
    KOC256 --- ---
    MARYO: zkusim jeste ale i ten prebuilt mi hazel nejake chyby.
    Kliknutím sem můžete změnit nastavení reklam