FEDY: a jsem zase u toho - jakmile sem napisu, vzapeti si sam odpovim.... ono je tam totiz strankovani a mam ocekavat "--More--" ... diky :-)

ahoj,

nedelate nekdo pomoci nodejs ovladani sitovych prvku skrze telnet/ssh ? zkousim expect-telnet, asi by to mohlo delat co potrebuju, ale nejak se mi nedari ziskat jakykoliv delsi vypis.

var et = require("expect-telnet");

et("host_IP:23", [
  {expect: "Username", send: "......\r"},
  {expect: "Password", send: "......\r"},
  {expect: ">"       , send: "enable\r" },
  {expect: "Password", send: "......\r"},
  {expect: "#"       , send: "show version\r"},
  {expect: "", out: function(output) { console.log(output); }, send: "exit\rexit\r"} ],

  { timeout: 5000 },

  function(err) {
    if (err) console.error(err);
  }
);

vysledek je "s" nebo "sh"... :-D pricemz tcpdumpem vidim, ze mi cely vypis prisel...

SUCZKER:
No uz to mam "nejak" odladene. Zase to asi nestoji za to, aby se tim nekdo vice zabyval a i ta chyba je jen nekdy... Kdyby to blblo, tak si s tim jeste pohraju jak jsi psal...

Diky!

KOC256: Bylo by lepsi, kdybys napsal, co delas. Proste document.ready nebo ekvivalent ke vzdycky lepsi. Je stranka staticka, nebo je v ni JS, co ji na klidntovi vyrendruje? Tohle vse muze hrát roli? Kdyztak hod Vic info do posty, jestli to neni top secret project.

Zkusit stranku po loadu ulozit a podivat se, jestli tam skutecne je Dom structural, ktera odpovedi tomu selectoru, neni od veci.

Proc proste nevyzlousis jiny timeout eventy z toho page.goto a uvidis? A pak napis, pokud to nebudete fungovat.

Ja nevim, co chces scrapovat, se pak tezko ladi, když neco nefacha.

SUCZKER:
Jsi dost tajemný...

Jaká je tedy nejlepší praxe na úpravu toho řádku, když waitUntil: 'load' není to pravé...:
await page.goto('https://example.com/Tools/?name=' + nick + '&loop=' + loop + '&submit=Filter', {waitUntil: 'load'});

Patří do parametru něco jiného?

koukam, ze to "page.goto" ma jeste varianty "domcontentloaded" a "networkidle0", atd.. mozna zkus neco z nich.

KOC256: To si zrejme load mysli. Nevim, co se snazis scrapovat, ale udalost "document.load" neni to samy, co udalost "document.ready", jen tak na okraj. Bylo by asi vhodny si dokument pote, co skonci load, nekam ulozit, aby bylo jisty, ze tam skutecne je to, co hledas.

SUCZKER:
Dik... ale proc tam je teda toto:
{waitUntil: 'load'}

Myslel jsem ze to resi ten load. Pokud by load dobehl, tak tam třen prvek urcite je. Leda ze by dobehl ale vratil prazdnou stranku (bila streanka) a load by se myslel ze tedy hotovo...

KOC256: process.on('unhandledRejection', (err) => { ... }) asi znas, to pisu jenom tak do foroty. Celou porceduru mas urcite oznaceno jako async, takze to problem nebude.

Co ctu dokumentaci k waitforselector, tak pokud se proste neobjevi markup, kterej by odpovidal selectoru behem danyho timeout (defaultne asi tech 30000ms, ale nastavitelne pomci druhyho parameteru options), tak to proste throwne. Rekl bych, ze proste na strance se behem tech 30 sekund ten selektor neobjevi nebo tam proste nikdy nebyl.

Je to prijatelne vysvetleni ?

Jinak ten chrome na linuxu oproti phantomu+casperu na widlich je 2x pomalejsi... (3 vs 7 minut).
Nevim na kolik je to srovnatelne, protoze to muze byt klidne i vykonem.
Win 10, 4 jadra i, 12GB RAM
vs
Debian jessie (VPS), 2 jadra, 1GB RAM (RAm je dost), procak obcas na 100%

for (loop of [2, 3, 5, 7]) {
	try {
		await page.goto('https://example.com/Tools/?name=' + nick + '&loop=' + loop + '&submit=Filter', {waitUntil: 'load'});
	} catch (error) {
		console.log('ERROR TU');
		continue;
	}
console.log('17');
	await page.waitForSelector('textarea:not(#support_body)');
console.log('18');
...

mám to v rámci webserveru a chci aby při nedostupnosti (timeout) jedné URL aby mi to skočilo na další... Takže otrocky takto všude dávám try+catch. Ale stává se mi, že i když mi to projde tím page.goto(), tak mi to spadne na:
UnhandledPromiseRejectionWarning: Error: waiting failed: timeout 30000ms exceeded
v page.waitForSelector().

---

- Nějak jsem hloupě doufal, že waitUntil: 'load' se tam dává, aby se čekalo na load...
- Mám nastaveno await page.setDefaultNavigationTimeout(3000);, což ale platí jen pro goto().

Nějaké know-how k tomuto pls?

Jinak drobné zastavení nad rozdíly Puppeteer a CasperJS... ...pokud by to někoho zajímalo.

---

C:
var txt = casper.fetchText('textarea');
P:
const txt = await page.$eval('textarea:not(#support_body)', el => el.value);

Protože ve stránce jsou dva prvky textarea a z toho ten #support_body je neviditelný a ten co chci použít nemá žádný identifikátor (ani nadřazený). Vyplývá z toho, že Chrome pracuje i s neviditelnými elementy.

---

C:
nicks.forEach(function(nick) {
P:
for (nick of nicks) {

---

C:
pageSettings: { loadImages: false, }
P:

await page.setRequestInterception(true);
page.on('request', request => {
	if (request.resourceType() === 'image')
		request.abort();
	else
		request.continue();
})

---

const nicks = [
	//'pepa'
	,'koc256'
	,'karel'
];

C:
projde
P:
hodí chybu - vadí mu ta první čárka

---

U Chrome se mi líbí, že se nekonečně nezanořuje syntaxe...

---

A jeden z hlavních je že PhantomJS je jeden velký problém s instalací a provozováním... :(

a ja se zeptam naprosto debilne a offtopic, jak sem dostavate ty barevny logy z terminalu ??

MARYO:
zatim jsem si vzal od Forpsi VPS na 2 mesice zdarma. Jinak stoji 25kc/mesic. To na to hrani mi i stoji za to...

KOC256: Nevim ale jestli to pujde nainstalovat na tom ARM :-)

MARYO:
Díky.
Dneska jsem si udělal základní kostru a zatím OK. Jelikož phantom byl fakt problém. Pořád něco nešlo a šel opakovaným rychlým refreshem shodit. Teď už jen přepsat aplikaci z caspera :)