XCHAOS: Ne, nemuzes se spolehnout na to jak to bude implementovany na konkretni architekture. Jediny na co se muzes spolehnout je, ze to bude na venek delat co pisou ze to bude delat. A ze pokud nejakej kokot napsal dementni implementaci, tak mu nejspis nekdo urval hlavu a uz davno to prepsal efektivne. Ale realloc funguje i na procesorech co proste nemaj virtualni pamet, tam se tezko neco precisluje. (A taky ma potize na 32b OS, kdyz chces velky flaky pameti a mas moc fragmentovanou pamet, a tak vubec)

...These functions allow glibc-specific interaction with the dynamic memory allocation routines.

malloc_stats()

vida. myslím, že právě kvůli podobné sw-archeologii jsem tenhle klub zakládal.

REDGUY:
ANT_39: přesně pochopit, co malloc() - resp. jeho typické dnešní implementace pro typické dnešní architektury dělá - by mi určitě pomohlo "nejít proti srsti". že z větších bloků ukusuje "po částech", to jsem tušil... a právě proto bych předpokládal, že když udělám realloc() z 3prvkového pole třena na 300 000, tak dojde spíš k fyzickému kopírování ?

Normally, malloc() allocates memory from the heap, and adjusts the size of the heap as required, using sbrk(2). When allocating blocks of memory larger than MMAP_THRESHOLD bytes, the glibc malloc() implementation allocates the memory as a private anonymous mapping using mmap(2). MMAP_THRESHOLD is 128 kB by default, but is adjustable using mallopt(3).

vida vida... RTFM... konečně se někam posouváme :-)

XCHAOS: LOL. No, vzhledem k tomu ze jsi nedokazal ze sebe vysypat aspon vzdalene pouzitelnou definici jak by to melo fungovat a k cemu presne by to bylo uzitecne, je to v podstate irelevantni 8)

XCHAOS: U malych pametovych bloku asi tezko, protoze ty se nemapuji separatne. man malloc o tom ma nejake relevantni povidani.

REDGUY: Co ma locale spolecneho s tim, jak presne funguje podobnost objekty ruznych typu?

Hodně.

XCHAOS: co se mé hypotetické funkce týče, tak já bych jí viděl právě třeba jako rozšíření POSIXu - které by se řídilo třeba aktuálním locale. - wtf? Co ma locale spolecneho s tim, jak presne funguje podobnost objekty ruznych typu? A proc by to mel byt globalni setting? Bude si kazda aplikace, vyzadujici jine chovani, muset nastavit vlastni locale? A co kdyz v ruznych castech aplikace (treba v 3rdparty knihovnach) budu potrebovat jine chovani?

Kazdopadne, napises nejaky konkretni navrh jak by to melo fungovat a k cemu presne by to melo slouzit nebo zustanes u "eee.. nejaky ascii string..."?

A porad by me zajimala odpoved na prvni otazku [ REDGUY @ ANSI C/C99 (specifikace), GNU C (gcc, glibc), Tiny C (tcc) a POSIX - ne nutně C++,g++,libstdc++ nebo Win32 API ] .

XCHAOS: Divas se na to blbe. realloc neni (typicky) zadna magie se strankovanim, na to zapomen. Proste si to predstav ze reknes libc "Hele, vim ze pamet pro malloc beres z nejakyho vetsiho kusu. Bud tak hodna, jestli za timhle kouskem pameti cos mi pred chvili dala je jeste dalsi volny nepouzity misto, tak ten muj kousek zvets na tolikhle bytu, jinak by normalnim postupem pridel novej kus pameti a na jeho zacatek prekopiruj tohle, at se s tim nemusim delat sam. Diky." Jestli chces, muzu ti to namalovat 8)

DAVIDOWITCH: ano, tohle jsem zhruba potřeboval vědět... to mi ušetří spoustu času.

...a můžu se tedy spolehnout, že všechny běžné architektury, na které je libc portovatelné, to budou řešit tím přečíslováním stránek - a ne kopírováním paměti bajt po bajtu ? protože ono je to dost podstatné... přivedlo mi to na myšlenku zacházet s alokací polí výrazně jinak, než s alokací stringů (přeci jen jsem nevzdal myšlenky na ten vlastní alokátor paměti, že...)

_BENNY: já jsem handles používal v 16bit DOSu ... později jsem se dočetl, že stejnou fintu používal původní 16ti bitový MAC OS. (před každým přístupem k pointeru se musela volat mapující funkce, která znovu konvertovala handler na pointer: občas naštěstí ani nebylo nutné skutečně něco fyzicky přesouvat odjinud, protože ten správný blok paměti byl čirou náhodou zrovna namapovaný...)

moje handlery byly 16tibitové, ale uměly adresovat až 4 GB XMS/EMS/hdd swap :-)

ANT_39: no mě jde spíš o to, že přetěžovat operátory jako + nebo == mě přijde poněkud... víš co. (třeba proč by řetězení stringů mělo mít paralelu k aritmetickému sčítání ? co se mi líbí na C a PHP - a třeba i Bashi - je to, že + prostě není na stringy ... natož jiné kontejnery). (Sakra... na to, jak moc na to PHP jinak nadávám, tak musím uznat, že řetězní stringů má relativně dobrý .. aspoň syntakticky)

spíš jsem ten operátor =~ nebo ~~ myslel tak, že by měl být asi jediný "přetížitelný": právě když už operátor, od kterého nevím, co mám čekat - tak ať se aspoň odlišuje od matematických.

ale jinak operátorů už nechme. (C je stejně neumí přetěžovat, tak to max. bude funkce ... :-)

XCHAOS: a naopak se okázale vysmívají lidem, kteří požadují abstrakci, kterou není jednoduché implementovat
Kdyz ji dobre definujes, tak to pujde implementovat a udelat z toho abstrakci (modulo limity vypocetni uplnosti atp). Debata jde o tom, ze prijit s dobre definovanym ~~ moc nejde.

a teď bych už možná obrátil list, s dovolením.
No, uz by to chtelo :)

XCHAOS: nebo je jeste reseni nepouzivat milion pointeru na jednu strukturu ale milion pointeru na jeden pointer na jednu strukturu, aneb vitej mezi handles.

DAVIDOWITCH: no nasměroval mi tímhle směrem někdo v tomhle klubu, už před delším časem... a hlavně mi tvrdil, že to realloc() pouze změní nějaké pořadí stránkování paměti a ty pointery nerozhodí. jenže evidentně - to je zřejmě možné pouze někdy, ne vždycky - a min někdy ke kopírování obsahu paměti nedojde. a nebo to znamená ještě něco jiného (já tedy v adresování na 32bit a 64bit strojích nejsem vůbec zběhlý) - třeba, že k fyzickému kopírování paměti sice nedojde - ale že adresa jejího umístění se kvůli odlišnému řazení stránek změní ?

k bezpečnému využití realloc() by tedy mohla stačit zásada, že výsledky operací pointerové aritmetiky se nemají nikdy "ukládat na později" ? (tedy třeba že odkaz na prvek pole se nemá ukládat do pointeru, apod.) hmm...

XCHAOS: Gratuluju, objevils novy kontinent.
A ano, muze se ti stat, ze si zneplatnis vsechny pointery, proto se tim typicky realokujou veci do kterejch indexujes.

realloc() changes the size of the memory block pointed to by ptr to size bytes. The contents will be unchanged to the minimum of the old and new sizes; newly allocated memory will be uninitialized. If ptr is NULL, then the call is equivalent to malloc(size), for all values of size; if size is equal to zero, and ptr is not NULL, then the call is equivalent to free(ptr). Unless ptr is NULL, it must have been returned by an earlier call to malloc(),
calloc() or realloc(). If the area pointed to was moved, a free(ptr) is done.

.. tak, a teď babo raď: tohle je skvělá věc (Borland C libc v dřevních dobách DOSu jí podle mě neměla, a z toho vyplynula moje averze k polím a preference spojových seznamů) - ale co o tom realloc() doopravdy kdo víme ? pravděpodobně bude docela platform-dependet: tam, kde lze provést přemapování stránek paměti, aby se alokovaný prostor rozšířil, tam to zřemě bude docela ďábelsky rychlé - ale zřejmě ne každá architektura takové přemapování podporuje - viz ta zmínka If the area pointed to was moved.... ovšem zase pokud realloc() skutečně změní umístění alokovaného bloku, tak tím ovšem zneplatní všechny pointery, které ukazovaly do toho původního bloku - je to tak ? To by znamenalo použít tuto fintu v podstatě jen v kombinace se zcela specifickými programátorskými praktikami (a to vůbec nemluvím o takové thread-safety...)

máte s tímto někdo zkušenost ? chystám se udělat si pár testů a možná i benchmarků, jak se to chová pro různé velikosti bloků paměti před a po realokaci... ale nerad bych znovuobjevoval Ameriku.. takže uvítám pokud se někdo podělí se svými zkušenostmi.

ANT_39: mě šlo zhruba o to předvést, že programovací jazyky se často holedbají abstrakcí, kterou není těžké definovat a implementovat... a naopak se okázale vysmívají lidem, kteří požadují abstrakci, kterou není jednoduché implementovat.

prostě se vrátím k základnímu pocitu: ať je MySQL jakékoliv, tak nám na serverech žere zlomek resourců, oproti tomu, kolik toho žerou PHP skripty (paměti, CPU time). a přitom abstrakce, kterou MySQL nabízí, je neskonale sofistikovanější, než abstrakce, kterou nabízí PHP - které reálně neumí skoro nic ! (v podstatě jediný větší komfort jsou asociativní pole - zbytek jsou povětšinou wrappery nad službami systému).

takže prostě jen tvrdím, že prostor pro optimalizace tu je, a že abstrakce, kterou programátorům vnucují vyšší jazyky, nemusí být nutně ta jediná správná, kterou bychom potřebovali: prostě nás existující prostředí nutí myslet určitým způsobem, nutí nás to využívat zdroje určitým způsobem, apod.

a teď bych už možná obrátil list, s dovolením.

REDGUY: zapoměl si na druhou část mého příspěvku - MATCH AGAINST se ovšem mění podle nastavení serveru, takže ty věci nejsou zcela jednoznačné.

no a co se mé hypotetické funkce týče, tak já bych jí viděl právě třeba jako rozšíření POSIXu - které by se řídilo třeba aktuálním locale. Dnes máš přece spoustu knihovních funkcí implementovaných v libc, jejichž chování se mění podle použitého locale... a často i způsobem, který reálně lidé ani moc nechtějí a obcházejí ho (např. desetinná čárka vs. desetinná tečka)

XCHAOS: No v tom specifikovanem vyznamu prave bude zakopany pes, ze...
Nicmene, az udelas ~~, tak dalsim krokem by imho mela byt priblizna diference ~-.