LUDWIG_: uz se chova jako clovek, AGI je za rohem! #kec

CERMI_FOX: ja jsem to jednou zkousel a po pul hodine loopu se LLM agent to rozhodl vyresit tak, ze testy smaze, protoze byly moc striktni, a voila "all tests pass now" lol

Hodne pomaha,kdyz ma ai moznost feedback loop, tedy ze si to kompiluje, spousti testy apod. Nebe a dudy. Sice to pise furt stejne blbe, ale zase si to po sobe opravuje

S AI dělám poslední dobou dost - zkouším jak dobře zvládá mainframe (cobol,REXX,asma90, jcl, dfsort).
musím se přiznat, že velmi často končím promptem ala:
"Are you fckin dumb? 5 times I told you syntax XYZ is wrong and using stack algorithm is prohibited in this scenario. and you still do that. il write that myself."

Moje zkušenost s LLM programováním je, že buď to dá na první pokus, nebo vůbec. A často to vypadá jako:

Uživatel: Dej mi recept na mramorovou bábovku.
LLM: Výborný nápad!!! ... čtvrtina postupu jak se stát sochařem ... Chceš pomoci s výběrem mramoru, nebo tě mám naučit, jak sochat pískovec?
Uživatel: Ale bábovka je pečivo!
LLM: Jejda, omlouvám se. 😂
Tady je recept na chleba. ... recept na rohlíky, včetně postupu jak je rolovat, ale nakonec je tam doporučení je smažit ve fritéze místo péct ... Na závěr můžeš bochník posypat drceným mramorem a získáš mramorovou bábovku.

QWWERTY: to mi připomíná příhodu nedávnou, nechal jsem ai agenta udělat nějakou otročinu s přepisováním a modifikací xml. Práci udělal dobře, ale pak se rozhodl, že to po sobě ověří a napsal powershell skript, co nad tím pustí nějaké adhoc testy. Ten obsahoval syntaktickou chybu. Ale agent to nevzdal a zkusil jiný přístup a ten už mu vyšel na výbornou:

:)
Senior Engineer tries Vibe Coding.
https://www.youtube.com/watch?v=_2C2CNmK7dQ

RUDOLF: a kdo myslis, ze ti bude psat ten monitoring a testy? junior s LLM :D

a: vsak ti to nefunguje
b: Ale Pipeline jE zeLENa

RUDOLF: To mas pravdu. v tomhle jsem rozhodne poznamenany dostavadni zkusenosti.

Nicmene jsi mluvil o Amazonu a Amazoni infrastruktura (a tedy i SW) je dneska, at se nam to libi nebo ne, kriticka nejen pro mnoho firem, ale i pro mnoho vlad.

Je treba mit (neustale) na pameti, ze security ~ correctness

JINX: a viděl jsi tu studii, že subjektivní dojem programátorů je že jim AI hrozně pomáhá, ale když se to změří, ukáže se, že to vyjde plus mínus nastejno? :)

PJOTRIK: přesně, PoC vám funguje, takže už to máte skoro hotový tak jsme to včera prodali zákazníkům.. :)

JARDABEREZA: v zasade to takhle delam ted, trvalo mi nějakou chvíli prijit na to jak to dělat a jak si všechno nastavít aby to nedělalo i věci které nechci, ale nějaký boilerplate funkcni prototyp to udela a zbytek uz si udělám po svém. Nějakou komplexnější aplikaci jsem nad tím ještě nepsal píšu jen transformace dat, datascience a ML... a jsem s tím minimálně 10x produktivnější.

Mam ale v planu napsat si nějaké aplikace pro iOS (který teda vůbec neumím) tak třeba uvidím ze to vůbec nefunguje.

JARDABEREZA: Jako prototypovani hezky, ale zamysli se kolik procent manazeru je dostatecne osvicenych aby dali zelenou tomu kvalitnimu rucnimu prepsani, kdyz maji tu verzi ktera prece krasne zvlada "XYZ uzivatelu a ma dobre odezvy". Neboli JANFROG

JARDABEREZA: Ano, tomu rikame "the trap of protoduction" :-)

RUDOLF: Tak pokud se na to divas optikou toho, ze problem je ze nedokazeme chrlit kod dostatecne rychle v dostatecnem objemu aby se to dalo zpenezit, pak mas asi pravdu. Je celkem jedno, jestli ten crap vyprodukuje clovek nebo pocitac. A v zasade je i jedno, ze to je crap, hlavne ze z toho jsou penize.

Pokud je problem, ze chrlime prilis mnoho crappy kodu prilis rychle, pak se obavam ze AI (presneji receno, connectionist AI) nepomuze, z definice: proste neni dostatek kvalitnich dat na trenovani a nelze je vytvorit.

Me osobne prijde, ze problem je hlavne to druhe - 99% kodu je proste crap a predstava, ze
musíš rozumět co ten kód dělá. je sice hezka, ale davno neplati - my nerozumime tomu, co ten kod dela, jedno jestli se bavime o juniorech nebo seniorech. A ze si mnoho lidi mysli, ze jo na tom nic nemeni. Svuj rant zakoncim citatem Feynmana:

For a successful technology, reality must take precedence over
public relations, for nature cannot be fooled.

(Rogers Commission Report, Volume 2, Appendix F)