ANT_39: no to je ale přesně to - v pár use casech je AI super, ve většině ale jen generuje bordel a nekvalitu, přičemž to druhý je silněji incentivizovano..

ALMAD: Hm, je to tak. Vedle obecne shitoznosti se to projevi konkretne bezpecnostnima problemama.
Ad AISLE, neslysel jsem, koukam na web. Zni to hezky, no. Mas s tim zkusenosti?
Napada me k tomu nedavna kauza kolem curl bug bounty programu, kterej byl tak dlouho nevybirave zaplavovanej vyhalucinovanym AI shitem, az ho zrusili. Vetsina toho shitu byla ale asi spis od nejakyho starsiho chatGPT, nez od recentniho Clauda.
Z druhy strany, Claude mi nedavno nasel realnou bugu v kernelim patchi. Sice bez security implikace, ale presto.
Uvidime, no. Mozna jen dedkovatim, ale posledni dobou mam podezreni, ze svet se v prdel obraci.

ALMAD: A tady bych si zase vzpomel na slova Michael Lippautz (Google V8) z lonskeho leta "Almost every security problem turned out to be correctness problem. We do not like it, but that's what we have learned the hard way."

PISKVOR:

write-only vs. read-only, kontextové okno, a hackuje se to rovnákama na vohejbák

Jo, přičemž to, že se do toho zamotává a přestává tomu rozumět, a bylo by potřeba udělat krok zpět a investovat práci do vyčištění, nebo v prvý řadě ideálně nemergovat redundantní hacky, na to v tom nekonečným cyklu není prostor.

zaplavení krajiny spoustou jednorázových protodukčních nástrojů

Jo, SW bude nadále ještě větší sračka než doteď, to se máme na co těšit.

jednorázový nástroj lze ale dělat jen na malý, dobře definovaný a ohraničený problémy

Jo, přičemž jak píšu, zřejmě dost práce proběhlo před začátkem experimentu. Jak bude někdo psát pečlivou a důkladnou test suitu pro libovolnej problém, kterej není futrovanej +- jednoznačnýma standardama, bych rád viděl.

JANFROG: Já na ty backendy vůbec nekoukal, ale tak nějak když tam čtu, jak to produkuje pro real mode příliš velkej kód, tak tam nic takhle sofistikovanýho spíš nebude. Do lexeru jsem koukal, protože lexikální analýza je lehkej problém, a poté, co jsem to viděl, tak ta představa, jak po něm luštím x86_64 volací konvence, alokace zásobníku, atp., mě láká pramálo.

PES: AI-rovnák na AI-vohejbak. :)

SH_PANDA: Zalezi na tom, co vsechno povazujes za "skodu". Pokud za tu "skodu" beres i vsechny negativni externality, pak se obavam, ze to neni jen skill issue :-)

SH_PANDA: také to oproti lopatě umí napáchat mnohem větší škody...

PES: akurat ze je to bagr :)

ANT_39: Kdyz jsem to cetl (ten blog post) tak jsem si nemohl nevzpomenout na to co psal Gregory Chaitin ve sve retrospektive (2003) ke svemu (legendarnimu) clanku Register Allocation and Spilling via Graph Coloring (1982 !):

So I regard the success of this approach, which has been the
basis for much future work, as a triumph of the power of a
simple mathematical idea over ad hoc hacking. Yes, the real
world is messy and complicated, but one should try to base
algorithms on clean, comprehensible mathematical ideas...