KOC256: Doporučuju spíš nez low-level http modul, tak vzít třeba superagent nebo axios, to ti minimálně usnadní práci s tím. A na postupne prochazeni asynchronniho pole mam takovou vlastni utilitu.

export function asyncEach(
  input,
  mapper,
) {
  return input.reduce(async (promise, value) => {
    await promise
    await mapper(value).catch(err => {
      console.error(err)
    })
  }, Promise.resolve())
}

Použiješ jednoduše...

asyncEach(urls.values, async url => {
  const response_data = await axios.get(url);
  parser.parseString(response_data)
  // etc...
})

YORK:
no me jde o to postupne zpracovani, coz by mi aktualne prislo nejjednodussi... Tim ze mi zbytek uz seriove funguje...

Zbytek problemu by se pak ani nemusel resit (mixovani obsahu mezi requesty třeba...

KOC256: Ten odkazovanej příklad je zrova případ, kdy chceš requesty zpracovávat postupně, ne paralelně. Tj. pošleš jeden request, až se vrátí odpověď, pošleš druhej, atd.

Pokud chceš paralelně poslat N requestů, počkat, až na všechny dojde odpověď a pak udělat něco dalšího, potřebuješ něco jako Promise.all(), jak už tady někdo psal.

Pokud ti stačí poslat paralelně N requestů a odpověď na každej z nich zpracovat (tj. nepotřebuješ něco dělat potom, co přijdou všechny odpovědi), stačej ti obyčejný callbacky - při vytváření každýho requestu mu předáš funkci, která se zavolá, až přijde odpověď.

Myslím, že vysvětlení by mohlo být skryto v tomto...

node.js - How do I send requests in a for loop synchronously in nodejs? - Stack Overflow
https://stackoverflow.com/...s/50668853/how-do-i-send-requests-in-a-for-loop-synchronously-in-nodejs

jen prostě tomu pořád nerozumím... nevím jak to napasovat na ten svůj příklad...

AREX: No premyslim hodne PHPckovsky. Mam seznam url a na ne chci paralelne neco volat. Ten http mi dela to ze stahuje z URL XML a pak ba nem neco dela. Pro jednu URL to funguje, ale kdyz to obalim do cyklu tak se mi to splasi.

A pokud te chapu, tak mohu 8x volat parametrizovany request, ale tomu jsem se chtel vyhnout...

KOC256: Nějak se ztrácím v tom, co to má vlastně dělat. Vidím `http.get`, což je hádám http server (express?). To už je z principu asynchronní a těžko to předěláš na synchronní.

Jestli to není express, tak bych doporučil ho použít. Zbavíš se té přímo práce se streamem.

Co můžeš taky zkusit je místo abych pro každou url tam věšel nový listener, tak mít jenom jeden a pak z objektu requestu si načteš jakou url to požaduje a tu můžeš najít v té svojí mapě.

Omezit concurrency samozřejmě taky můžeš, ale nemyslím si, že to něco vyřeší, pokud tam děláš side effecty, které mění něco venku co je společně.

No tak ještě takto. Opět asi nepochopení té asynchronity :(

	var urls = new Map();
	urls.set('cz', 'http://www.data.net/xml/cz.xml');
	urls.set('sk', 'http://www.data.net/xml/sk.xml');
	// ...

	res.writeHead(200, {'Content-Type': 'text/html; charset=UTF-8'});
	
	var file = '';
	for (let [url_key, url] of urls) {
		file = '';
		http.get(url, function(res0) {
			var response_data = '';
			res0.setEncoding('utf8');
			res0.on('data', function(chunk) {
				response_data += chunk;
			});
			res0.on('end', function() {
				parser.parseString(response_data, function(err, result) {
					if (err) {
						console.log('Got error: ' + err.message);
						res.write('Got error: ' + err.message);
					} else {
						console.log('Loading XML done.');
						puppeteer.launch({
// ... plnění proměnné file += 'nějaký kus textu';

Tady mi dochází několika věcem...
Asynchronně se ten první cyklus vyvolá pro všechny položky pole URLS... Což by úplně nevadilo kdyby... ...mi to nezačalo vyvolávat výjimky na maxListeners, kterou mám nastavenu na 100. teda pokud to chápu...
A také to, že když níže plním v cyklech co jsem tu řešil dříve proměnou "file", tak mi to každé to spuštění v tom prvním cyklu plní tu samou proměnnou, takže pak mám v datech binec...

Takže bych buď raději:
- zajistil synchro - čas nehraje roli, bude to něco co bude běžet cronem na pozadí a generovat právě cache soubory
- nebo nějak zajistit, že se ty "vllákna" spustí třeba jen 3 a nebude se mixovat ta proměnná file...

Prosím o nějaký nákop...

B3DA:
B3DA:
Myslím, že chápu. Vyspím se na to a uvidím :)

Díky...

resp.

try {
  // ...
  const results = await Promise.allSettled(promises)
} catch (e) {...}

at v tom nedelam bordel

KOC256: pokud to chces poslat vse najednou, vytvor si pole tech stringu, a udelej neco jako

const promises = arr.map(u => updatePage(u))
Promise.allSettled(promises)
  .then(results => {
    // foreach results = r => r.status === 'fullfiled' ? r.value : r.reason ...
  }).catch(...)

muzes pouzit i Promise.all(), ale pokud ti spadne jeden request, rejectne se i zbytek..

YORK:
No je to v podstatě moje druhá appka, takže ani moc nevím co a jak refaktorizovat. Jsou to nějaké kusy kódů z tutoriálů a googlení.

no musel jsem ty foreache přepsat na for, protože jinak při prostém přidání async přes ty dvě functions, to stejně padalo zase na nějakou chybu s tím volaním stránky. Předpokládám, že nějaká vlastnost těch async...

Nyní tedy takto:
// NE Object.keys(result.GP.c).forEach(async function(k) {
for (var k in Object.keys(result.GP.c)) {

Aha, tak ted zjistuji, ze to tu mam dve hodiny rozepsane... :D
A dosel jsem k tomu samemu jako B3DA.

Jen je pravda, ze mi to vsechno jede seriove, takze jak tu zaznelo poooomaaaaaluuuu.

Jak to teda napsat, aby ten cyklus probihal asynchronne? Asi staci naznacit konstrukcne... :o)

AREX: Awaity v cyklu udělat jdou, akorát pak přijdeš o výhodu asynchronního kódu. Počká to nejdří na první, pak na druhej, pak na třetí, atd. Promise.all() se od toho liší v tom, že může všechno probíhat současně a čekáš na to, až doběhnou všechny.

(Rozumnej linter samozřejmě await v cyklu označí jako chybu, protože to prakticky nikdy nechceš udělat. Ale technicky to jde.)

v tomhle pripade mozna spis

Promise.allSettled()

nebo treba neco jako

for (const key of Object.keys(result.GP.c)) {
  const foo = await updatePage(result.GP.c[k].code[kk])
}

YORK: Dělat callback do `forEach` jako async nebude nikdy fungovat, protože na to nebude nic čekat. Obecně smyčky a async je bolavé téma. Takový ošklivý hack je `await Promise.all(result.GP.c.map(async ...)`

Ale ta dvakrát vnořená smyčka v tom udělá ještě větší bordel :) Takový jiný trick je v podstatě chainovat jeden Promise a ten pak počkat.

KOC256: Asi bych ti doporučil nejprve v rámci těch smyček se sestavit flat array, to můžeš v pohodě udělat synchronně a pak použít ten trik co jsem psal výše s Promise.all.

KOC256: Aha, v tom případě není problém v tom, že bys přes await volal funkci, která není async, ale že používáš await ve funkci, která není async. Řekl bych, že jak máš

"Object.keys(result.GP.c).forEach(function(k) {"

tak to 'funcion(k)' musí bejt async.


Osobně bych ten kód refactoroval, všechny inline funkce bych pojmenoval a vyhodil ven, aby bylo dobře vidět, že každou async funkci voláš přes await a že každá funkce, ve který používáš await, je async.

YORK:
kdyz spodni kod hodim do toho vrchniho pod radek console.log('Loading XML done.');
tak to zacne hajlovat, ze se mu nelibi Await postupne u:
await page.goto('https://www.neco.com/' + result.GP.c[k].code[kk], {waitUntil: 'networkidle2'});
if (await page.$('#CB_dMessage') != null) {
} else if (await page.$('#CB_aMessage') != null) {

Kdyz je dam pryc tak to zhuci, protoze samozrejme ty page.$... necekaji na nacteni stranky a tedy tam nic nenajdou...

YORK:
No to jsem samozrejme zkousel, ale proste porad se tomu neco nelibilo...

Da se prvni blok zaobalit do nejakeho stavu, kde bude vracet jen promenou "result", kterou si prave v tom spodnim kodu nejak nactu?

Jinak pokud to chapu, tak musim bud vrchni kod dostat doprostred toho spodniho, nebo ten spodni do prostred toho vrchniho. COz mi pak prijde cele to strasne zneprehlednujici... :(

KOC256: Zkuz smazat 'await' z řádku, kde ti to píše syntax error.

KOC256:
jo to spojení je o tom, že to co vrchní kód "vrací" jako "result", spodní kód jako "result" očekává... :-)

Já jsem pořád ztracený v té asynchronitě...

Mám dva funkční kusy kodů a nejsem schopen je spojit...
Jedná se o vyplnění místa kde níže je napsáno "// X řádků kódu"

Kód 1 - má za úkol stáhnout XML z webu a naparsovat ho do JSON.

	http.get('http://www.nejaky-web.net/xml/file.xml', function(res) {
		var response_data = '';
		res.setEncoding('utf8');
		res.on('data', function(chunk) {
			response_data += chunk;
		});
		res.on('end', function() {
			parser.parseString(response_data, function(err, result) {
				if (err) {
					console.log('Got error: ' + err.message);
				} else {
					console.log('Loading XML done.');
				}
			});
		});
		res.on('error', function(err) {
			console.log('Got error: ' + err.message);
		});
	});

Pak mám druhý kód, který vychází co mám v těch prvních 300 řádcích a taky mi funguje...:

	puppeteer.launch({
		headless: true
		, userDataDir: '/var/www/node/data/'
		, ignoreHTTPSErrors: true
		, args: [
			  '--no-sandbox'
			, '--disable-setuid-sandbox'
			, '--enable-file-cookies'
		]})
	.then(async browser => {
		const page = await browser.newPage();

		// set timeout
		await page.setDefaultNavigationTimeout(10000);

		Object.keys(result.GP.c).forEach(function(k) {
			res.write('<b>' + result.GP.c[k].p[0].$.title + '</b><br/>');
			Object.keys(result.GP.c[k].code).forEach(function(kk) {
				res.write(result.GP.c[k].code[kk]);
				try {
					await page.goto('https://www.neco.com/' + result.GP.c[k].code[kk], {waitUntil: 'networkidle2'});

					if (await page.$('#CBody_dMessage') != null) {
						res.write(' => <span style="color:orange;font-weight:bold;">D</span><br/>');
					} else if (await page.$('#CB_aMessage') != null) {
						res.write(' => <span style="color:red;font-weight:bold;">A</span><br/>');
					} else {
						res.write(' => <span style="color:green;font-weight:bold;">OK</span><br/>');
					}
				} catch (error) {
					console.log('ERROR');
					res.write('<br/><br/>ERROR<br/>');
					res.end();
				}
			});
		});
		res.end();
		
		await page.close();
		await browser.close();
	});

Zkousel jsem dane kusy kodu do sebe ruzne napasovavat ale jak z prava, tak z leva se vzdy dostanu do stavu, kde mi to hlasi:

SyntaxError: await is only valid in async function


Dokázal by mi někdo jednoduše vysvětlit jak tyto kusy kódu spojit? Nechce se mi dělat prasárnu, kde jedním voláním provedu download a uložení a druhým načtení tohoto souboru a provedení druhého kusu kódu. TO přece musí jít. Dokonce jsem první kus kódu se snažil přepsat do puppeteeru či třeba R2, ale prostě vždycky to na něčem zhavarovalo.

Díky...