E2E4:
ne to NAS, tak asi nejak osekany...

KOC256: to ti fakt nerozumím.. jako že ty kousky už neodpovídají tomu celku, protože se ten celek změnil dalšími zálohami?

KOC256: ehm to první mělo být echo p/* na konci

a ad to druhý.. starej bash? nebo vůbec ne bash?

E2E4:
jo normalne :) ale kdyz v tom nelezis denne, tak to clovek musi "nastudovat" :)
kazdopadne diky

KOC256: nechápu, jak záloha mění hash?

normálně postupně přidávat na konec a odmazávat

for i in cast*
do
cat cast$i >> celek
rm cast$i
done

E2E4:

admin@NAS:/volume1/Shared/_WORK/x$ mkdir p; touch p/hz p/ch; echo *
p
admin@NAS:/volume1/Shared/_WORK/x$

admin@NAS:/volume1/Shared/_WORK$ diff -u <(ls -tr) <(ls *)
-sh: syntax error near unexpected token `('
admin@NAS:/volume1/Shared/_WORK$

Tak nakonec byl problem uplne jinde... ...mezi zidli a klavesnici - protoze ta zaloha meni hash...

Ale chtel bych se vratit k myslence, jestli nejde spojit ten cilovy soubor bez toho aniz by najednou existovaly vsechny kopie tech partu a pomalu vznikal i ten cilovy soubor.

Dokazu si predstavot nejaky cyklus, ktery spoji 1+2 a pak 1 a 2 smaze. Pak 12 + 3 a smaze 3, pak 123 + 4, atd atd.

Ale nejde to treba nejakym parametrem? i za cenu risku ztraty dat, kdyz se to behem toho posere - ze to mazani jiz spojeneho by delal na pozadi?

KOC256: pomalejší, ale při čtení z pomalého HDD se to zas tolik neprojeví.

pro tenhle účel je md5 ok, pravděpodobnost náhodné kolize je zanedbatelná ale pro kryptografický účely ne a proto je dobrý zapomenout že existuje :)

SAMGARR:
Pustil jsem to s vynucenym poradim...
cat part_aa part_ab ... | md5sum ... tak rano uvidim :)


E2E4:
Ten sha256sum je rychlejsi nebo kvuli kolizim?

Ten segmentovac, kdyztak zkusim pustit. Diky...

KOC256: head/tail -c a diff (ale teda nevim kolik pameti zabere binarni diff velkych souboru). ale ten md5sum je na to dostatecnej, teda mel bys spis pouzivat sha256sum.. :)

porovnat jednotlivy kusy on the fly pro pripad ze by skutecne byla jedna z casti poskozena muzes takhle:

segment=10; for i in zaloha.zip_part*; do head -c ${segment}G zaloha.zip| tail -c 10G | md5sum - ; md5sum $i; segment=$(($segment+10)); done

Takze ten cat ti to radi spravne? Pred casem jsem resil podobny problem a zjistil jsem (uz nevim proc), ze cat ty soubory radil ve spatnym poradi a proto nevychazel checksum.

E2E4:
Jo a jestli je ls -tr razeni dle casu, tak to asi nebude fungovat. Mezitim se ty data valela i na cloudu.

split -> up cloud -> down cloud -> compare

E2E4:
Uz na to koukam jen z postele. Zitra to zkusim. Ale vypada to ze tim poradi to nebude kryz i “ls” to vypisuje jako cg ch ci cj. Tak predpokladam ze split vznikal stejne. Ale tak ten “cat” mohu zkusit i z prohozenym ch. Jen mi to bezi na nasu tak pak na vysledek cekam krapet dele. Mozna se zeptam jinak.

Kdyz MD5 musi prechroustat cely soubor, tak cim porovnat puvodni zalohu bit po bitu oproti streamu
“cat zaloha_part_* | ??? zaloha.zip”, kde “???” Je neco na porovnani :).
Je neco takoveho? Teda verim ze je...

KOC256: no, teoereticky to muze postihovat jen bash.

mkdir p; touch p/hz p/ch; echo *

fakt vypise p/ch p/hz nebo naopak?

kazdopadne porovnat poradi ve kterym to delal split oproti poradi ve kterym ti to dela shell muzes takhle:

diff -u <(ls -tr) <(ls *)

E2E4: To me napadlo jako prvni. Mam eng. Ls sortuje ok

KOC256: mas cesky locale? (=pise ti to chybovy hlasky cesky?)

v tom pripade mas problem s poradim pismena ch v abecede - split ho udela anglicky (cg ch ci), ale bash (ktery expanduje tu hvezdicku na seznam souboru) cesky (hz ch ia)

pro anglicky poradi pouzij
LC_ALL=C cat zaloha_part_* | md5sum

pripadne si rovnou pridej do /etc/profile
export LC_ALL=C

Jinak nevim zda je to universalni ale sort by tam mel byt podle locale. V CentOSu je.
Ten split jsem prave myslel rovnou do STDOUT, ale to bohuzel split podle byte size neumi.

Snazit se to promazavat jak se to rozbaluje je vyssi divci - slo by to ruznymi zpusoby a zadny si nedokazu predstavit jako vhodny.

Nicmene na tohle se pouziva prave Chunks/Lines pro split. Tam totiz muzes poslat pouze Xty chunk z N chunku do STDIN a spocist samostatne. Koukal jsem ze pro size ta moznost neni.

MCKIDNEY:
Znovu uz to splitnout nemohu. Lepereceno leda on the fly. A sort muzu zkusit. Ale spise by byl problem leda kdyby to joinoval podle data zmeny. Coz asi nema duvod.

Pripadne jde delat ten cat/join tak ze dany soubor co pripoji rovnou smaze/prepise aby mi zmizely ty party a zustal ten velky?