Tak nakonec byl problem uplne jinde... ...mezi zidli a klavesnici - protoze ta zaloha meni hash...

Ale chtel bych se vratit k myslence, jestli nejde spojit ten cilovy soubor bez toho aniz by najednou existovaly vsechny kopie tech partu a pomalu vznikal i ten cilovy soubor.

Dokazu si predstavot nejaky cyklus, ktery spoji 1+2 a pak 1 a 2 smaze. Pak 12 + 3 a smaze 3, pak 123 + 4, atd atd.

Ale nejde to treba nejakym parametrem? i za cenu risku ztraty dat, kdyz se to behem toho posere - ze to mazani jiz spojeneho by delal na pozadi?

KOC256: pomalejší, ale při čtení z pomalého HDD se to zas tolik neprojeví.

pro tenhle účel je md5 ok, pravděpodobnost náhodné kolize je zanedbatelná ale pro kryptografický účely ne a proto je dobrý zapomenout že existuje :)

SAMGARR:
Pustil jsem to s vynucenym poradim...
cat part_aa part_ab ... | md5sum ... tak rano uvidim :)


E2E4:
Ten sha256sum je rychlejsi nebo kvuli kolizim?

Ten segmentovac, kdyztak zkusim pustit. Diky...

KOC256: head/tail -c a diff (ale teda nevim kolik pameti zabere binarni diff velkych souboru). ale ten md5sum je na to dostatecnej, teda mel bys spis pouzivat sha256sum.. :)

porovnat jednotlivy kusy on the fly pro pripad ze by skutecne byla jedna z casti poskozena muzes takhle:

segment=10; for i in zaloha.zip_part*; do head -c ${segment}G zaloha.zip| tail -c 10G | md5sum - ; md5sum $i; segment=$(($segment+10)); done

Takze ten cat ti to radi spravne? Pred casem jsem resil podobny problem a zjistil jsem (uz nevim proc), ze cat ty soubory radil ve spatnym poradi a proto nevychazel checksum.

E2E4:
Jo a jestli je ls -tr razeni dle casu, tak to asi nebude fungovat. Mezitim se ty data valela i na cloudu.

split -> up cloud -> down cloud -> compare

E2E4:
Uz na to koukam jen z postele. Zitra to zkusim. Ale vypada to ze tim poradi to nebude kryz i “ls” to vypisuje jako cg ch ci cj. Tak predpokladam ze split vznikal stejne. Ale tak ten “cat” mohu zkusit i z prohozenym ch. Jen mi to bezi na nasu tak pak na vysledek cekam krapet dele. Mozna se zeptam jinak.

Kdyz MD5 musi prechroustat cely soubor, tak cim porovnat puvodni zalohu bit po bitu oproti streamu
“cat zaloha_part_* | ??? zaloha.zip”, kde “???” Je neco na porovnani :).
Je neco takoveho? Teda verim ze je...

KOC256: no, teoereticky to muze postihovat jen bash.

mkdir p; touch p/hz p/ch; echo *

fakt vypise p/ch p/hz nebo naopak?

kazdopadne porovnat poradi ve kterym to delal split oproti poradi ve kterym ti to dela shell muzes takhle:

diff -u <(ls -tr) <(ls *)

E2E4: To me napadlo jako prvni. Mam eng. Ls sortuje ok

KOC256: mas cesky locale? (=pise ti to chybovy hlasky cesky?)

v tom pripade mas problem s poradim pismena ch v abecede - split ho udela anglicky (cg ch ci), ale bash (ktery expanduje tu hvezdicku na seznam souboru) cesky (hz ch ia)

pro anglicky poradi pouzij
LC_ALL=C cat zaloha_part_* | md5sum

pripadne si rovnou pridej do /etc/profile
export LC_ALL=C

Jinak nevim zda je to universalni ale sort by tam mel byt podle locale. V CentOSu je.
Ten split jsem prave myslel rovnou do STDOUT, ale to bohuzel split podle byte size neumi.

Snazit se to promazavat jak se to rozbaluje je vyssi divci - slo by to ruznymi zpusoby a zadny si nedokazu predstavit jako vhodny.

Nicmene na tohle se pouziva prave Chunks/Lines pro split. Tam totiz muzes poslat pouze Xty chunk z N chunku do STDIN a spocist samostatne. Koukal jsem ze pro size ta moznost neni.

MCKIDNEY:
Znovu uz to splitnout nemohu. Lepereceno leda on the fly. A sort muzu zkusit. Ale spise by byl problem leda kdyby to joinoval podle data zmeny. Coz asi nema duvod.

Pripadne jde delat ten cat/join tak ze dany soubor co pripoji rovnou smaze/prepise aby mi zmizely ty party a zustal ten velky?

KOC256: Mozna bych overil spis obracene tim ze to znova splitnu a spoctu oddelene md5sum a porovnam.

Nicmene si nemyslim ze je to vec poradi (muzes seradit pomoci sort, ale melo by to byt spravne protoze to split zapisuje postupne)

KOC256: cat zaloha_part a potom Esc, Esc, je to ve spravnem poradi?

Ahoj
Mám soubor s velkou zalohouv radech stovek GB. Abych s tim rozumeji mohl manipulovat, tak jsem si to SPLITem rozdelil na zaloha_part_aa, ab, ac, ...

split -b 10G zaloha.zip zaloha_part_ --verbose

Chci overit konzistenci, ale uz nemam misto pro treti kopii te zalohy (puvodni, rozdelene, nove spojene), tak jsem to chtel udelat jako:
cat zaloha_part_* | md5sum > md5.txt

v souboru nasledne najdu, ale jiny hash, nez je ten co mam z puvodni zalohy:
md5sum zaloha.zip

Je chyba v tom si myslet, ze ten CAT to posklada spravne porade? Nebo lze nejak podstrcit seznam souboru treba pomoci "ls", ktery je vraci ve spravnem poradi...

Asi bych se chtel vyhnout JOINu a urcovani poradi vsech desitek souboru :(

MA747: jestli nevadí GUI, tak klidně pdfshuffler ;) ten to pofackuje korektně

pdfsam uz neni pro linux ?