• úvod
  • témata
  • události
  • tržiště
  • diskuze
  • nástěnka
  • přihlásit
    registrace
    ztracené heslo?
    ANGEL333node.js - Evented I/O for V8 JavaScript

    Věříte, že nějaký webapp framwork postavený na node.js (Express?) bude v budoucnosti rozšířený podobně jako jsou nyní např. Django, CakePHP, Rails, Zend, atd..?

    55 hlasy od 55 respondentů

      Relativně nové server-side javascriptové API. Hlavní předností je, že je event-driven a neblokující. Již nyní obsahuje implementaci protokolů HTTP, TCP, DNS, rozhraní pro práci s procesy, soubory, atd..

      Instalace je velmi jednoduchá, jediná závislost je Python, potom node.js nainstalujete jako standardní program.

      Odkazy:


    • Oficiální web: http://nodejs.org

    • Přednáška od Ryana Dahla (autor node.js)

    • Git repozitář: http://github.com/ry/node
    • rozbalit záhlaví
      KOC256
      KOC256 --- ---
      AREX: No premyslim hodne PHPckovsky. Mam seznam url a na ne chci paralelne neco volat. Ten http mi dela to ze stahuje z URL XML a pak ba nem neco dela. Pro jednu URL to funguje, ale kdyz to obalim do cyklu tak se mi to splasi.

      A pokud te chapu, tak mohu 8x volat parametrizovany request, ale tomu jsem se chtel vyhnout...
      AREX
      AREX --- ---
      KOC256: Nějak se ztrácím v tom, co to má vlastně dělat. Vidím `http.get`, což je hádám http server (express?). To už je z principu asynchronní a těžko to předěláš na synchronní.

      Jestli to není express, tak bych doporučil ho použít. Zbavíš se té přímo práce se streamem.

      Co můžeš taky zkusit je místo abych pro každou url tam věšel nový listener, tak mít jenom jeden a pak z objektu requestu si načteš jakou url to požaduje a tu můžeš najít v té svojí mapě.

      Omezit concurrency samozřejmě taky můžeš, ale nemyslím si, že to něco vyřeší, pokud tam děláš side effecty, které mění něco venku co je společně.
      KOC256
      KOC256 --- ---
      No tak ještě takto. Opět asi nepochopení té asynchronity :(

      
      	var urls = new Map();
      	urls.set('cz', 'http://www.data.net/xml/cz.xml');
      	urls.set('sk', 'http://www.data.net/xml/sk.xml');
      	// ...
      
      	res.writeHead(200, {'Content-Type': 'text/html; charset=UTF-8'});
      	
      	var file = '';
      	for (let [url_key, url] of urls) {
      		file = '';
      		http.get(url, function(res0) {
      			var response_data = '';
      			res0.setEncoding('utf8');
      			res0.on('data', function(chunk) {
      				response_data += chunk;
      			});
      			res0.on('end', function() {
      				parser.parseString(response_data, function(err, result) {
      					if (err) {
      						console.log('Got error: ' + err.message);
      						res.write('Got error: ' + err.message);
      					} else {
      						console.log('Loading XML done.');
      						puppeteer.launch({
      // ... plnění proměnné file += 'nějaký kus textu';
      


      Tady mi dochází několika věcem...
      Asynchronně se ten první cyklus vyvolá pro všechny položky pole URLS... Což by úplně nevadilo kdyby... ...mi to nezačalo vyvolávat výjimky na maxListeners, kterou mám nastavenu na 100. teda pokud to chápu...
      A také to, že když níže plním v cyklech co jsem tu řešil dříve proměnou "file", tak mi to každé to spuštění v tom prvním cyklu plní tu samou proměnnou, takže pak mám v datech binec...

      Takže bych buď raději:
      - zajistil synchro - čas nehraje roli, bude to něco co bude běžet cronem na pozadí a generovat právě cache soubory
      - nebo nějak zajistit, že se ty "vllákna" spustí třeba jen 3 a nebude se mixovat ta proměnná file...

      Prosím o nějaký nákop...
      KOC256
      KOC256 --- ---
      B3DA:
      B3DA:
      Myslím, že chápu. Vyspím se na to a uvidím :)

      Díky...
      B3DA
      B3DA --- ---
      resp.
      
      try {
        // ...
        const results = await Promise.allSettled(promises)
      } catch (e) {...}
      

      at v tom nedelam bordel
      B3DA
      B3DA --- ---
      KOC256: pokud to chces poslat vse najednou, vytvor si pole tech stringu, a udelej neco jako
      const promises = arr.map(u => updatePage(u))
      Promise.allSettled(promises)
        .then(results => {
          // foreach results = r => r.status === 'fullfiled' ? r.value : r.reason ...
        }).catch(...)
      

      muzes pouzit i Promise.all(), ale pokud ti spadne jeden request, rejectne se i zbytek..
      KOC256
      KOC256 --- ---
      YORK:
      No je to v podstatě moje druhá appka, takže ani moc nevím co a jak refaktorizovat. Jsou to nějaké kusy kódů z tutoriálů a googlení.

      no musel jsem ty foreache přepsat na for, protože jinak při prostém přidání async přes ty dvě functions, to stejně padalo zase na nějakou chybu s tím volaním stránky. Předpokládám, že nějaká vlastnost těch async...

      Nyní tedy takto:
      // NE Object.keys(result.GP.c).forEach(async function(k) {
      for (var k in Object.keys(result.GP.c)) {

      Aha, tak ted zjistuji, ze to tu mam dve hodiny rozepsane... :D
      A dosel jsem k tomu samemu jako B3DA.

      Jen je pravda, ze mi to vsechno jede seriove, takze jak tu zaznelo poooomaaaaaluuuu.

      Jak to teda napsat, aby ten cyklus probihal asynchronne? Asi staci naznacit konstrukcne... :o)
      YORK
      YORK --- ---
      AREX: Awaity v cyklu udělat jdou, akorát pak přijdeš o výhodu asynchronního kódu. Počká to nejdří na první, pak na druhej, pak na třetí, atd. Promise.all() se od toho liší v tom, že může všechno probíhat současně a čekáš na to, až doběhnou všechny.

      (Rozumnej linter samozřejmě await v cyklu označí jako chybu, protože to prakticky nikdy nechceš udělat. Ale technicky to jde.)
      B3DA
      B3DA --- ---
      v tomhle pripade mozna spis
      Promise.allSettled()

      nebo treba neco jako
      
      for (const key of Object.keys(result.GP.c)) {
        const foo = await updatePage(result.GP.c[k].code[kk])
      }
      
      AREX
      AREX --- ---
      YORK: Dělat callback do `forEach` jako async nebude nikdy fungovat, protože na to nebude nic čekat. Obecně smyčky a async je bolavé téma. Takový ošklivý hack je `await Promise.all(result.GP.c.map(async ...)`

      Ale ta dvakrát vnořená smyčka v tom udělá ještě větší bordel :) Takový jiný trick je v podstatě chainovat jeden Promise a ten pak počkat.

      KOC256: Asi bych ti doporučil nejprve v rámci těch smyček se sestavit flat array, to můžeš v pohodě udělat synchronně a pak použít ten trik co jsem psal výše s Promise.all.
      YORK
      YORK --- ---
      KOC256: Aha, v tom případě není problém v tom, že bys přes await volal funkci, která není async, ale že používáš await ve funkci, která není async. Řekl bych, že jak máš

      "Object.keys(result.GP.c).forEach(function(k) {"

      tak to 'funcion(k)' musí bejt async.


      Osobně bych ten kód refactoroval, všechny inline funkce bych pojmenoval a vyhodil ven, aby bylo dobře vidět, že každou async funkci voláš přes await a že každá funkce, ve který používáš await, je async.
      KOC256
      KOC256 --- ---
      YORK:
      kdyz spodni kod hodim do toho vrchniho pod radek console.log('Loading XML done.');
      tak to zacne hajlovat, ze se mu nelibi Await postupne u:
      await page.goto('https://www.neco.com/' + result.GP.c[k].code[kk], {waitUntil: 'networkidle2'});
      if (await page.$('#CB_dMessage') != null) {
      } else if (await page.$('#CB_aMessage') != null) {

      Kdyz je dam pryc tak to zhuci, protoze samozrejme ty page.$... necekaji na nacteni stranky a tedy tam nic nenajdou...
      KOC256
      KOC256 --- ---
      YORK:
      No to jsem samozrejme zkousel, ale proste porad se tomu neco nelibilo...

      Da se prvni blok zaobalit do nejakeho stavu, kde bude vracet jen promenou "result", kterou si prave v tom spodnim kodu nejak nactu?

      Jinak pokud to chapu, tak musim bud vrchni kod dostat doprostred toho spodniho, nebo ten spodni do prostred toho vrchniho. COz mi pak prijde cele to strasne zneprehlednujici... :(
      YORK
      YORK --- ---
      KOC256: Zkuz smazat 'await' z řádku, kde ti to píše syntax error.
      KOC256
      KOC256 --- ---
      KOC256:
      jo to spojení je o tom, že to co vrchní kód "vrací" jako "result", spodní kód jako "result" očekává... :-)
      KOC256
      KOC256 --- ---
      Já jsem pořád ztracený v té asynchronitě...

      Mám dva funkční kusy kodů a nejsem schopen je spojit...
      Jedná se o vyplnění místa kde níže je napsáno "// X řádků kódu"

      Kód 1 - má za úkol stáhnout XML z webu a naparsovat ho do JSON.
      
      	http.get('http://www.nejaky-web.net/xml/file.xml', function(res) {
      		var response_data = '';
      		res.setEncoding('utf8');
      		res.on('data', function(chunk) {
      			response_data += chunk;
      		});
      		res.on('end', function() {
      			parser.parseString(response_data, function(err, result) {
      				if (err) {
      					console.log('Got error: ' + err.message);
      				} else {
      					console.log('Loading XML done.');
      				}
      			});
      		});
      		res.on('error', function(err) {
      			console.log('Got error: ' + err.message);
      		});
      	});
      


      Pak mám druhý kód, který vychází co mám v těch prvních 300 řádcích a taky mi funguje...:
      
      	puppeteer.launch({
      		headless: true
      		, userDataDir: '/var/www/node/data/'
      		, ignoreHTTPSErrors: true
      		, args: [
      			  '--no-sandbox'
      			, '--disable-setuid-sandbox'
      			, '--enable-file-cookies'
      		]})
      	.then(async browser => {
      		const page = await browser.newPage();
      
      		// set timeout
      		await page.setDefaultNavigationTimeout(10000);
      
      		Object.keys(result.GP.c).forEach(function(k) {
      			res.write('<b>' + result.GP.c[k].p[0].$.title + '</b><br/>');
      			Object.keys(result.GP.c[k].code).forEach(function(kk) {
      				res.write(result.GP.c[k].code[kk]);
      				try {
      					await page.goto('https://www.neco.com/' + result.GP.c[k].code[kk], {waitUntil: 'networkidle2'});
      
      					if (await page.$('#CBody_dMessage') != null) {
      						res.write(' => <span style="color:orange;font-weight:bold;">D</span><br/>');
      					} else if (await page.$('#CB_aMessage') != null) {
      						res.write(' => <span style="color:red;font-weight:bold;">A</span><br/>');
      					} else {
      						res.write(' => <span style="color:green;font-weight:bold;">OK</span><br/>');
      					}
      				} catch (error) {
      					console.log('ERROR');
      					res.write('<br/><br/>ERROR<br/>');
      					res.end();
      				}
      			});
      		});
      		res.end();
      		
      		await page.close();
      		await browser.close();
      	});
      


      Zkousel jsem dane kusy kodu do sebe ruzne napasovavat ale jak z prava, tak z leva se vzdy dostanu do stavu, kde mi to hlasi:

      SyntaxError: await is only valid in async function


      Dokázal by mi někdo jednoduše vysvětlit jak tyto kusy kódu spojit? Nechce se mi dělat prasárnu, kde jedním voláním provedu download a uložení a druhým načtení tohoto souboru a provedení druhého kusu kódu. TO přece musí jít. Dokonce jsem první kus kódu se snažil přepsat do puppeteeru či třeba R2, ale prostě vždycky to na něčem zhavarovalo.

      Díky...
      THEODORT
      THEODORT --- ---
      KOC256: ano, trivialni router kterej smeruje na dane casti kodu.
      KOC256
      KOC256 --- ---
      Mám jednoúčelovou aplikaci, která má následující kostru...
      
      var express = require('express');
      var app     = express();
      const puppeteer = require('puppeteer');
      require('events').EventEmitter.prototype._maxListeners = 100;
      
      let settings = require('./settings.json');
      
      app.get('/', function(req, res) {
      // 300 řádků kódu
      })
      
      var server = app.listen('80')
      exports = module.exports = server;
      


      A potřebuji přidat ještě druhou jednoúčelnou apliaci...
      Předpokládám, že primitivní řešení je udělat něco jako:
      
      var express = require('express');
      var app     = express();
      const puppeteer = require('puppeteer');
      require('events').EventEmitter.prototype._maxListeners = 100;
      
      let settings = require('./settings.json');
      
      app.get('/', function(req, res) {
      // 300 řádků kódu
      })
      
      app.get('/druha-aplikace/', function(req, res) {
      // X řádků kódu
      })
      
      var server = app.listen('80')
      exports = module.exports = server;
      


      Volání pak:
      http://domena.tld/
      a
      http://domena.tld/druha-aplikace/

      A dotaz je, jaká je praxe, jak toto dělat správně, ale pořád jednoduše? Mít tam nějaké funkce, které budou v requirovaných souborech? /plně se nechci pouštět do nějakých frameworků a řešit tam routery a další aplikační vrstvy...
      FEDY
      FEDY --- ---
      JUNIOR: proste to pripis do toho objektu - {msg:'Email has been sent', layout: false} pokud to chapu spravne tedy ...
      JUNIOR
      JUNIOR --- ---
      Ahoj,
      poprvé řeším něco na backendu a tak nějak se rozkoukávám.

      Prosím, dělám si v node.js emailový formulář a v jednom řádku mám:

      app.get('/', (req, res) => {
      res.render('contact', {layout: false});
      });


      a dále mám:
      res.render('contact', {msg:'Email has been sent'})

      a potřebuji tam dostat {layout: false}


      Jak to mám prosím zapsat aby to fungovalo a neházelo mi to errory?

      Díky
      ELPASO
      ELPASO --- ---
      FEDY: Jsem absolutni rookie. Takze me nenapadlo debug node prehodit na celej msg. Sice tam neni nazev source nodu ale je tam ID zigbee senzoru ze ktereho tecou data.

      Diky. Stacilo nakopnout :)
      Kliknutím sem můžete změnit nastavení reklam